Machine learning based fraud detection in digital payment systems

Abstract

Büyük ölçekli dijital ödeme sistemlerinde sahtekarlık ve anormal işlem tespiti, işlemlerin son derece dengesiz sınıf dağılımına sahip olması ve işlem riskinin geçmiş hesap davranışları ile taraflar arasındaki etkileşimlere sıkı biçimde bağlı olması nedeniyle oldukça karmaşık bir problemdir. Yalnızca işlem bazlı ham özniteliklere dayanan geleneksel yaklaşımlar, bu tür sistemlerde yüksek tespit başarısı ile düşük yanlış alarm oranını aynı anda sağlamada çoğu zaman yetersiz kalmaktadır. Bu tez çalışmasında, büyük ölçekli tablosal işlem verileri üzerinde anomali tespiti için ölçeklenebilir ve graf tabanlı olmayan Davranışsal Etkileşim-Farkında Gradyan Artırmalı Ağaçlar (BI-GBDT) yaklaşımı önerilmektedir. Önerilen yöntemde gönderici ve alıcı hesap davranışları, işlem sıklığı ve işlem tutarı eksenlerinde yön-özgül olarak modellenmektedir. Hesaplar arası etkileşim yapısı, açık bir işlem graf oluşturmaya gerek duyulmadan, gönderici–alıcı küme çiftlerinin veri kümesi genelindeki görülme oranları aracılığıyla temsil edilmektedir. Aşırı sınıf dengesizliği problemini ele almak amacıyla işlemler ayrıca davranışsal bir öznitelik uzayında kümelenmekte ve her küme için geçmiş sahtekârlık yoğunluğunu yansıtan bir risk skoru hesaplanmaktadır. Elde edilen bu risk skoru, modele davranışsal bir ön risk bilgisi olarak dâhil edilmektedir. Tüm davranışsal ve etkileşim temelli öznitelikler, dağıtık bir büyük veri ortamında eğitilen sınıf ağırlıklı Gradyan Artırmalı Karar Ağaçları (GBDT) modeli içerisinde birleştirilmektedir. Önerilen Yöntem, maskelenmiş büyük ölçekli gerçek dünya işlem verisi üzerinde değerlendirilmiştir. Deneysel bulgular, önerilen BI-GBDT yaklaşımının, yalnızca ham işlemsel özniteliklerle eğitilen standart GBDT modeline kıyasla belirgin performans artışları sağladığını göstermektedir. Özellikle yanlış pozitif oranı önemli ölçüde düşerken, sahtekârlık tespit oranı ve genel doğruluk anlamlı biçimde artmıştır. Elde edilen sonuçlar, sahtekârlık tespitinde davranışsal bağlamın, hesaplar arası etkileşim yapısının ve dengesizlik farkındalığının birlikte ele alınmasının, büyük hacimli dijital ödeme sistemleri için etkili ve uygulanabilir bir çözüm sunduğunu ortaya koymaktadır.Detecting fraudulent and anomalous transactions in large-scale digital payment systems remains a challenging problem due to severe class imbalance and the strong dependency of transaction risk on historical account behavior and interaction patterns. Traditional transaction-level classifiers that rely solely on raw attributes often struggle to maintain an effective balance between detection coverage and false positive control in such environments. This thesis proposes a scalable and graph-free Behavioral Interaction-Aware Gradient Boosting framework (BI-GBDT) for anomaly detection in large-scale tabular transaction data. The proposed approach models sending and receiving behaviors separately using direction-specific clustering based on transaction frequency and amount. Sender–receiver interaction patterns are captured through cluster-pair prevalence ratios, which encode population-level interaction regularities without constructing explicit transaction graphs. To address extreme class imbalance, transactions are further clustered in a behavioral feature space, and a cluster-level risk score is computed based on historical fraud concentration. This score is incorporated as a behavioral risk prior, providing imbalance-aware risk information at the population level. All proposed behavioral and interaction-aware features are integrated into a class-weighted Gradient Boosting Decision Tree model implemented in a distributed big data environment. The framework is evaluated on a large masked real-world transaction dataset. Experimental results demonstrate that BI- GBDT significantly outperforms a standard GBDT baseline trained on raw transactional attributes. In particular, the proposed method reduces the false positive rate from 37.0% to 4.3%, increases recall from 52.3% to 72.0%, and improves overall accuracy from 63.0% to 95.7%. These results indicate that jointly modeling behavioral context, interaction structure, and imbalance-aware risk provides an effective and scalable solution for fraud detection in high-volume digital payment systems.