Sar görüntülerinin derin öğrenme yöntemleri ile anlambilimsel bölütlenmesi

Abstract

SAR sistemleri her türlü hava koşulunda görüntü üretebilmeleri sayesinde, başta askeri ve sivil uygulamalar olmak üzere yer yüzü görüntülemede birçok alanda etkin bir şe- kilde kullanılmaktadır. Bu sistemler ile elde edilen görüntülerin içerik analizindeki en önemli adımlardan biri anlambilimsel olarak bölütlemedir. Buradaki anlambilimsel bölütleme, piksel düzeyinde etiketleme işlemidir. SAR sistemleri sahip olduğu kar- maşık saçılma mekanizması nedeniyle ürettikleri görüntülerin içerik analizleri, diğer uzaktan algılama sistemleriyle elde edilen görüntülere kıyasla daha zorludur. Bu du- rum, literatürde yer alan birçok derin öğrenme yönteminin SAR görüntülerinin anlam- bilimsel bölütlenmesinde yetersiz kalmasına yol açmaktadır. Bu durumun üstesinden gelmek amacıyla bu tez kapsamında SAR görüntülerinin anlambilimsel bölütlemesi için hızlı ve yüksek başarımlı bölütleme ağ mimarileri geliştirilmesine yönelik çalış- malar gerçekleştirilmiştir. Bu çalışmalar iki ana bölümde değerlendirilebilir. İlk bö- lümde SAR görüntüleri üzerinde doğrudan bölütleme başarımını arttırmaya yönelik, bu görüntülerle ilk defa kullanılan derin ağ mimarileri tasarlanmıştır. İkinci bölümde ise, alan genelleme yaklaşımları ilk kez SAR bölütleme mimarilerine entegre edilerek modelin alan kaymasına karşı dayanıklılığı arttırılmaya çalışılmıştır. İlk olarak hızlı ve yüksek başarımlı bölütleme elde etmek amacıyla süperpiksel ta- banlı bir çizge evrişimsel ağ mimarisi geliştirilmiştir. Ardından, sınırlı sayıda etiketli verilerde daha yüksek başarımlar elde etmek amacıyla grup eşdeğişkenliği yaklaşım- larından faydalanılarak U-Net mimarisi yeniden tasarlanmıştır. Daha sonra, bölütleme haritalarındaki pürüzsüzlüğü artırmak amacıyla öğrenilebilir bir yumuşatma katmanı geliştirilerek, mevcut bölütleme mimarilerine uçtan uca eğitilebilir bir şekilde entegre edilmiştir. Ayrıca, SAR görüntülerinden etkili öznitelikler çıkarabilmek amacıyla SAR veri dağılımına uyumlu özgün bir öğrenilebilir histogram katmanı geliştirilmiş ve bu sayede bölütleme mimarilerinin başarımları artırılmıştır. Son olarak, SAR görüntü- lerindeki alan kayması etkisini azaltmak amacıyla alan genelleme yaklaşımları üzerine odaklanılmış ve bu kapsamda KalmanMix adında özgün bir alan genelleme katmanı geliştirilerek, bölütleme mimarilerine entegre edilmiştir. Geliştirilen tüm bu yöntemler, gerçek SAR kümeleri üzerinde kapsamlı deneylerle test edilmiş ve literatürde mevcut en güncel yöntemlerle karşılaştırılarak etkinlikleri ortaya konmuştur.Thanks to their ability to produce images in all weather conditions, SAR systems are effectively used in many areas of Earth observation, particularly in military and civilian applications. One of the most important steps in the content analysis of images obtained with these systems is semantic segmentation, which is the process of labeling at the pixel level. Due to the complex scattering mechanism inherent to SAR systems, content analysis of the images produced is more challenging than images acquired by other remote sensing systems. This complexity often leads to the inadequacy of many deep learning methods in the literature for the semantic segmentation of SAR images. To overcome this issue, this thesis has conducted studies aimed at developing fast and high-performance segmentation network architectures for the semantic segmentation of SAR images. These studies can be evaluated in two main parts. In the first part, novel deep network architectures used for the first time with SAR images were designed to directly improve segmentation performance on these images. In the second part, domain generalization approaches were integrated into SAR segmentation architectures for the first time, with the aim of increasing the model's robustness against domain shift. Firstly, a superpixel-based graph convolutional network architecture was developed to achieve fast and high-performance segmentation. Then, the U-Net architecture was redesigned by utilizing group equivariance approaches to achieve higher performance on limited-label data. Subsequently, a learnable smoothing layer was introduced to improve the smoothness of segmentation maps and this layer was integrated into ex- isting segmentation architectures in an end-to-end trainable manner. Furthermore, a novel learnable histogram layer compatible with the distribution of SAR data was de- veloped to extract effective features from SAR images, thereby improving the perfor- mance of the segmentation architectures. Finally, we focused on domain generalization approaches to mitigate the domain shift effect in SAR images. In this context, a unique domain generalization layer, called KalmanMix, was developed and integrated into the segmentation architectures. All these developed methods were tested through compre- hensive experiments on real SAR datasets and their effectiveness was demonstrated by comparing them with the state-of-the-art methods in the literature.