Vısual 2-d multı-object trackıng on a surveıllance camera

Abstract

Çoklu nesne takibi (MOT), son yıllarda evrişimli sinir ağlarının (CNN) başarısı ve büyük ölçekli etiketli veri kümelerinin artmasıyla önemli ilerlemeler kaydetmiştir. Ancak, yoğun yaya trafiği, kısmi/kalıcı örtüşmeler (occlusion) ve yüksek görüş açılı kameralara özgü projeksiyon bozulmaları gibi unsurlar, gerçek dünya gözetim senaryolarında MOT sistemlerinin doğruluğunu ve verimliliğini sınırlamaya devam etmektedir. Bu tez, kentsel gözetim uygulamaları için özel olarak geliştirilmiş yeni bir MOT yak- laşımı sunmaktadır. Bu kapsamda, beş farklı ülkedeki 14 sabit kameradan elde edilen yüksek çözünürlüklü görüntülerle oluşturulan SOMPT22 (Gözetim Odaklı Çoklu Yaya Takibi 2022) veri kümesi tanıtılmaktadır. SOMPT22, yerden 6–8 metre yükseğe monte edilmiş kameralardan kaydedilen görüntülerde kalabalık yaya sahnelerini uzun süreli kimlik takibi yapılabilecek şekilde etiketleyerek mevcut MOT veri kümelerine göre daha gerçekçi bir karşılaştırma zemini sunar. Bu veri kümesi temel alınarak, SMaRT (Stick via Motion and Recognition Tracker) adlı yeni bir takip algoritması önerilmektedir. SMaRT, nesne tespiti, yer değiştirme (dis- placement) regresyonu ve yeniden tanıma (re-ID) işlemlerini tek bir uçtan uca mimaride birleştirir. CenterTrack ve FairMOT gibi öncü yöntemlerden esinlenerek geliştirilen mimaride, re-ID modülü bir öğretici ağdan bilgi aktarımı (knowledge distillation) yön- temiyle eğitilmiştir. Ayrıca, örtüşme ve hareket varyasyonlarını kontrol edilebilen sentetik videolar oluşturmak amacıyla bir MOT simülasyon arayüzü geliştirilmiştir. SOMPT22, MOT17 ve DIVOTrack veri kümeleri üzerinde, ayrıca geliştirilen simülasyon ortamında gerçekleştirilen deneyler, SMaRT algoritmasının etkinliğini or- taya koymaktadır. Önerilen yöntem, HOTA (Higher Order Tracking Accuracy), MOTA (Multi-Object Tracking Accuracy) ve AssA (Association Accuracy) gibi yaygın takip başarı metriklerinde yüksek performans gösterirken, gerçek zamanlı çalışabilirliğini de korumaktadır. Ablasyon çalışmaları; re-ID, displacement regresyonu ve loss ağırlık- larının performansa olan katkılarını detaylı biçimde incelemiştir. Bu tez, gözetim senaryolarına özel güçlü bir veri kümesi ve yüksek performanslı bir takip algoritması sunarak çoklu nesne takibi alanına önemli katkılar sağlamaktadır. Sonuçlar, yüksek görüş açılı kamera perspektiflerine sahip sahnelerde entegre mimariler ve özel veri kümelerinin ne denli kritik olduğunu göstermektedir.Multi-object tracking (MOT) has witnessed significant advancements in recent years, primarily driven by the success of convolutional neural networks (CNNs) and the availability of large-scale annotated datasets. Despite these developments, real-world surveillance scenarios continue to pose substantial challenges due to dense pedestrian distributions, occlusions, and projective distortions associated with high-angle camera perspectives. This thesis presents a novel MOT framework tailored for urban surveillance applications. We introduce SOMPT22 (Surveillance-Oriented Multi-Pedestrian Tracking 2022), a high-resolution pedestrian tracking dataset specifically curated from 14 public surveil- lance cameras across five countries. Unlike existing MOT datasets, SOMPT22 captures crowded pedestrian scenes from static cameras mounted 6–8 meters above ground level, offering long-term annotations and motion diversity under varying environmental conditions. On top of this dataset, we propose SMaRT (Stick via Motion and Recognition Tracker), a unified tracking model that integrates object detection, displacement regression, and re- identification (ReID) into a single end-to-end architecture. Inspired by CenterTrack and FairMOT, SMaRT employs a multi-head design and leverages knowledge distillation from a teacher ReID network to enhance identity preservation. A simulation suite is also developed to generate synthetic MOT videos with controlled occlusion, motion trajectories, and visual perturbations for benchmarking. Extensive experiments on SOMPT22, MOT17, and DIVOTrack datasets, as well as synthetic videos generated by the simulation suite, validate the effectiveness of SMaRT. Our method achieves competitive results across standard tracking metrics, including Higher Order Tracking Accuracy (HOTA), Multi-Object Tracking Accuracy (MOTA), and Association Accuracy (AssA), while maintaining real-time performance. Ablation studies further highlight the importance of ReID embedding, displacement regression, and loss weighting strategies. This thesis contributes a new surveillance-specific benchmark and a high-performance MOT algorithm, both of which advance the robustness and reliability of pedestrian tracking systems. The results underscore the value of integrated architectures and tailored datasets in addressing the unique challenges of high-view surveillance tracking.