Domain generalized object detection and instance segmentation for remote sensing images

Abstract

Çatı tipi tespiti ve bina örnekleme ayrımı, kentsel planlama ve afet yönetimi gibi uzaktan algılama uygulamaları için önemli görevlerdir. Derin öğrenme tabanlı nesne tespiti ve ayrımı konusundaki son gelişmeler, bu alanlarda olağanüstü performans sergilemiştir. Ancak, önemli bir zorluk, eğitim ve sınama veri dağılımları arasındaki farkların performans düşüşüne yol açabileceği alan kaymasıdır. Geleneksel alan uyarlama yöntemleri hedef alan verilerine erişim gerektirir ki bu her zaman mümkün değildir. Bu bağlamda, bu tez, hedef alan verilerine erişim gerektirmeyen alan kaymasını ele alan yeni alan genelleme yöntemleri önermektedir. Uzaktan algılama görüntülerinden çatı tipi tespiti için önerilen yaklaşım, hem örnek hem de görüntü seviyesinde alan kaymasını ele alır. Ayrıca, görüntü ve örnek seviyesindeki alan tahminleri arasında hizalamayı sağlamak için tutarlılık düzenlemesi uygulanır. Uzaktan algılama nesne tespiti için alan genelleme konusunda öncü bir çaba olan önerilen yöntem, IEEE Data Fusion Contest 2023 veri seti kullanılarak değerlendirilmiştir. Benzer şekilde, bina örnekleme ayrımı için, Mask R-CNN, hedef etiketleri veya verileri olmadan alan genelleme ayarında sorunu çözmeyi amaçlayarak alan bağımsız özellikler çıkarmak için görüntü, örnek ve piksel seviyesinde alan adversaryal modüllerle geliştirilmiştir. Kıtalar arası alan genelleme deneylerinden elde edilen ön sonuçlar, önerilen yöntemlerimizin farklı bağlamlarda uzaktan algılama uygulamalarının dayanıklılığını artırma potansiyelini göstererek ümit verici sonuçlar ortaya koymaktadır.

Building roof type detection and building instance segmentation are crucial tasks for remote sensing applications such as urban planning and disaster management. Recent advances in deep learning-based object detection and segmentation have demonstrated outstanding performance in these fields. However, domain shift is a significant challenge, where differences between training and test data distributions can lead to performance degradation. Traditional domain adaptation methods require access to target domain data, which is only sometimes feasible. This thesis proposes novel domain generalization methods that address domain shift without requiring access to target data. The proposed approach tackles domain shift at both the instance and image levels for roof-type detection from remote sensing images. Consistency regularization is imposed to enforce alignment between image-level and instance-level domain predictions. The proposed method, representing a pioneering effort in domain generalization for remote sensing object detection, is evaluated using the IEEE Data Fusion Contest 2023 dataset. Similarly, for building instance segmentation, Mask R-CNN is enhanced with image, instance, and pixel-level domain adversarial modules to extract domain-invariant features, aiming to solve the problem in a domain generalization setting without target labels or data. Promising outcomes are shown by preliminary results from cross-continent domain generalization experiments, indicating the potential of proposed methods to improve the robustness of remote sensing applications in varied contexts.