Deep learning applied to remote sensing image sequence analysis

Abstract

Sensör teknolojilerindeki yenilikler ve veri politikalarındaki gelişmeler sayesinde uzaktan algılanmış görüntüler günbegün çoğalmaktadır. Bu artış, birçok farklı alandaki problemin çözümü için yeri doldurulamaz bilgi sağlayan bu görüntülerin, uygun şekilde çözümlenmesine yönelik ihtiyacı da beraberinde getirmektedir. Ancak, uzaktan algılanmış görüntülerin, kendine özgün karakteristiğinden en uygun faydayı sağlayacak şekilde çözümlenmesi hâlâ çözülememiş bir sorundur. Derin öğrenme teknikleri, birçok alanda bilinen en iyi başarı düzeyini sağladığı için bu görüntülerin çözümlenmesi için uygun bir tercih olarak öne çıkmaktadır. Ancak, uzaktan algılanmış görüntüler, karakteristiklerinden tam anlamıyla faydalanabilmek için özelleşmiş teknikleri gerektirir. Bu tez kapsamında, uzaktan algılanmış görüntü dizgilerinin bahsi geçen karakteristiğini dikkate alarak çözümlenmesi için özelleşmiş derin öğrenme teknikleri geliştirilmiştir. Bu amaçla, her biri bahsi geçen görüntülerin en az iki karakteristiğini ele alan dört derin öğrenme yaklaşımı önerilmiştir. İlk yaklaşımda piksel seviyesinde sınıflandırma için görüntünün pikselleri ölçek-serisi şeklinde ele alınarak bir Uzun Kısa Süreli Bellek ağı ile birlikte kullanılmıştır. İkinci yaklaşımda su kalitesinin kestirimi için etiketli ve etiketsiz veriyi bir arada kullanan bir çoklu-görev öğrenen model önerilmiştir. Üçüncü yaklaşım bahsi geçen görüntülerin çözümlenmesi için hiyerarşik ağaç tabanlı temsil ile çizge evrişimli sinir ağlarını bir araya getirmektedir. Son yaklaşımda bölütleme ağlarının temel bileşenlerinden biri olan havuzlama katmanı için bir alternatif önerilmiştir. Birinci ve ikinci yaklaşımın modelleri veri kümeleriyle eğitilip sınanmış ve alternatifleriyle karşılaştırılmıştır. Bunun sonucunda, ilk yaklaşımda su kalitesi kestiriminde belirgin bir başarım elde edilmiş ve etiketlenmemiş verilerden faydalanmanın kestirimi iyileştirdiği gösterilmiştir. İkinci yaklaşımda piksel seviyesinde sınıflandırmada alternatiflerine göre genelleme performansında kayda değer bir artış gözlemlenmiştir. Üçüncü ve dördüncü yaklaşım için önerilen yöntemler sunulmuştur.Advances in sensor technology and changes in data policy have led to an ever-increasing volume of remote sensing images. However, the optimal exploitation of remote sensing images for their analysis still remains a problem due to their characteristics. Deep learning techniques come as a prominent choice for such analyzes due to their state-of-the-art results in various domains. However, remote sensing images require adapted techniques to fully exploit their characteristic. This thesis investigates the development of adapted deep learning techniques for the analysis of remote sensing image sequences, taking into account the characteristics of these images. Four deep learning methods are proposed, each targeting at least two characteristics of remote sensing images for their analysis. The first approach proposes a multi-task learning model for water quality estimation using labeled and unlabeled data. The second approach treats pixels as scale series and couples them with an LSTM network for pixel-level classification. The third approach combines a hierarchical tree-based representation with graph convolutional neural networks for remote sensing image classification. The last method proposes an alternative pooling mechanism for segmentation networks. The models of the first and second approaches are trained and tested with their datasets and compared with their alternatives. The first approach achieved a substantial increase in estimation performance and demonstrated that harnessing the unlabeled data improves water quality estimation, while a significant increase in generalization performance for pixel-level classification was observed with the second approach compared to its alternatives. The proposed methods are presented for the third and fourth approaches.