Otonom sürüş için anlamsal bölütlemede alan uyarlama

Abstract

Anlamsal bölütleme, bir görüntüdeki her bir pikselin ait olduğu kategoriye göre sınıflandırılması işlemidir. Bu yöntem; robotik, otonom araçlar, medikal görüntüleme ve havacılık sistemleri gibi birçok alanda yaygın olarak kullanılmaktadır. Anlamsal bölütleme modellerinin eğitilebilmesi için yüksek çözünürlüklü ve etiketli verilere ihtiyaç duyulmaktadır. Ancak gerçek dünya verilerinin toplanması hem maliyetli hem de zaman alıcı bir süreçtir. Bu sebeple, bu tür verilerin toplanması için simülasyonlardan faydalanmak, teknolojinin sunduğu olanaklar doğrultusunda tercih edilebilir hale gelmiştir. Ancak, simülasyon verileri ile gerçek veriler arasında bulunan dağılımsal farkları azaltmak için alan uyarlama (domain adaptation) yöntemlerine başvurulmaktadır. Bu tez çalışmasında, GTA5 video oyunu veri kümesi [1] kaynak alan olarak, Cityscapes veri kümesi [2] ise hedef alan olarak kullanılmıştır. Frekans tabanlı alan uyarlama yöntemlerinin anlamsal bölütleme üzerindeki etkileri incelenmiş ve karşılaştırmalı analizler yapılmıştır. İlk olarak, Fourier Alan Uyarlaması (Fourier Domain Adaptation - FDA) yöntemi [3] ele alınmış, bu yöntemden ilham alınarak Gauss Fourier Alan Uyarlaması (Gaussian Fourier Domain Adaptation - GFDA) [4] ve Frekans Temelli Optimal Stil Karıştırma (Frequency-based Optimal Style Mix - FOSMix) [5] yöntemleri geliştirilmiştir. FDA ve GFDA yöntemlerinde sırasıyla sabit kare maske ve yumuşak geçişli öğrenilebilir Gauss maske kullanılarak %42.31 ve %42.03 mean intersection over union (mIoU) değeri elde edilmiştir. Üçüncü yöntem olarak, aslında bir alan genelleştirme (domain generalization) yaklaşımı olan FOSMix yöntemi incelenmiştir. Bu yöntem kapsamında Hızlı Fourier Dönüşümü (FFT) kullanılarak üç farklı maskeleme stratejisi —Gauss maske, optimal U-Net[28] tabanlı maske ve sabit maske— uygulanmış ve sırasıyla %41.53, %34.10 ve %41.81 mIoU değerleri elde edilmiştir. Bunun yanı sıra, aynı yöntem Ayrık Kosinüs Dönüşümü (DCT) ile de değerlendirilmiş; klasik maske stratejisinde %31.10, U-Net tabanlı optimal maske stratejisinde ise %28.52 mIoU başarımı rapor edilmiştir.Semantic segmentation refers to the process of classifying each pixel in an image according to its corresponding category. This technique is widely used in various fields such as robotics, autonomous vehicles, medical imaging, and aerospace systems. Training models for semantic segmentation requires high-resolution, well-annotated datasets. However, collecting real-world data is both costly and time-consuming. As an alternative, thanks to advancements in technology, it has become preferable to use simulations to generate such data. Nevertheless, since there is a distribution gap between synthetic and real-world data, domain adaptation techniques are employed to reduce this discrepancy. In this thesis study, the GTA5 video game dataset [1] is used as the source domain, while the Cityscapes dataset [2] represents the target domain. The performance of frequency-based domain adaptation methods in semantic segmentation is analyzed and compared. Initially, the Fourier Domain Adaptation (FDA) method [3] is investigated, which inspired the development of Gaussian Fourier Domain Adaptation (GFDA) [4] and Frequency-based Optimal Style Mix (FOSMix) [5]. In the FDA and GFDA methods, a fixed square mask and a learnable smooth Gaussian mask are applied, respectively, resulting in mean intersection over union (mIoU) scores of 42.31% and 42.03%. As a third approach, the FOSMix method, which is fundamentally a domain generalization technique, is explored. Within the scope of this method, training is conducted using the Fast Fourier Transform (FFT) with three types of masks: Gaussian mask, U-Net–based optimal mask [8], and fixed mask, achieving mIoU performances of 41.53%, 34.10%, and 41.81%, respectively. Furthermore, the same method is also evaluated using the Discrete Cosine Transform (DCT), where the classical mask strategy yields 31.10% and the U-Net–based optimal mask strategy achieves 28.52% mIoU.