Deep Domain adaptation for the semantic segmentation of remote sensing images

Abstract

Uzaktan algılama görüntüleri, geniş bir yelpazede olan spektral, mekansal ve zamansal çözünürlükleri ile yeryüzü gözlemi için büyük bir değere sahiptir. Bu görüntülerin anlaşılması için semantik bölütleme önemlidir. Ancak, denetimli derin öğrenme zorluklarla karşılaşır ve çeşitli nedenlerden dolayı optimal bir performans sergileyemez. Bu zorluklar, büyük ölçüde etiketlenmiş bir veri kümesi gereksinimini içerir. Çeşitli etiketlenmiş veri kümeleri bulunsa da, genellikle belirli alanlara veya uygulamalara sınırlıdırlar. Ayrıca, hava ve aydınlatma gibi faktörlerden kaynaklanan veri kümesi dağılımlarındaki farklılıklar, eğitim (kaynak) ve kullanım (hedef) ortamları arasında alan kaymalarına neden olabilir. Gözetimsiz alan uyarlama, hedef alanlar için etiketli kaynak alanlarını kullanarak yanıt verir. Birçok gözetimsiz alan uyarlama tekniği bulunsa da, çeşitli başarılar elde etmektedirler. Bazıları kaynak alanları yeniden stilize ederken generatif çekişmeli ağları kullanır ve tutarsızlıklarla karşı karşıya kalarak hedef veri kümesi talep eder. Diğerleri ise sonlu olmayan ve giriş/özellik seviyesi hizalamaya odaklanır ve büyük alan farkları için yetersizdir. Bu tez, denetimsiz alan uyarlamasındaki bu tür sınırlamaları ele almak için bir dizi yeni denetimsiz alan uyarlaması yaklaşımı önermektedir. Stratejiler, uzaktan algılama bağlamında bir-atışta alan uyarlamalı semantik bölütleme için görüntüden görüntüye çevirme gibi alanları kapsar. Aynı zamanda, hedef tarzına dönüştürülmüş görüntü üretimi ve model eğitimini birleştiren uçtan uca yöntemler, süreci basitleştirir. Tez, dengesiz piksel dağılımını ele alan bir kayıp fonksiyonunu tanıtır ve performansı artırır. Fotogrametri Uluslararası Derneği'nin 2D semantik segmentasyon veri seti ile yapılan doğrulama, coğrafi ve sensör modu kaymalarının üstün uyarlama performansını sergileyerek en son teknoloji alternatifleri üzerinde başarılıdır.Remote sensing images, widely accessible with diverse spectral, spatial, and temporal resolutions, hold value for earth observation. Semantic segmentation is crucial for understanding these images; however, supervised deep learning faces significant challenges that hinder it from achieving optimal performance. These challenges encompass the requirement for a substantial annotated dataset. Although various annotated datasets are available, they are often limited to specific areas or applications. Moreover, disparities in dataset distributions between training (source) and deployment (target) settings, stemming from factors such as weather and illumination variations, can lead to domain shifts. Unsupervised domain adaptation responds by leveraging labeled source domains for target domains. Although there are several unsupervised domain adaptation techniques, they have a variety of successes. Some re-style source domains via generative adversarial networks, facing inconsistencies and demanding target dataset. Others are not end-to-end and focus on input/feature-level alignment, inadequate for large domain gaps. This thesis proposes several novel unsupervised domain adaptation approaches to tackle these limits. Strategies encompass image-to-image translation for one-shot domain adaptive semantic segmentation in remote sensing. Also, end-to-end methods unify target-styled image generation and model training, streamlining the process. The thesis introduces a loss function addressing imbalanced pixel distribution, boosting performance. Validation with the international society for photogrammetry 2-D semantic segmentation dataset showcases superior adaptation performance across geographical and sensor mode shifts, exceeding state-of-the-art alternatives.