Derin öğrenme ile çoklu bantlı uzaktan algılanmış görüntülerin içerik tabanlı erişimi

Abstract

Uzaktan algılanmış görüntülerin her geçen gün artmasıyla, oldukça fazla görüntü birikmiş, çok miktarda görüntü içeren büyük veri tabanları oluşmuştur. Bu durumun neticesinde içerik tabanlı görüntü erişimi problemi ortaya çıkmıştır. İçerik tabanlı görüntü erişimi öznitelik çıkarma ve benzerlik ölçümü olarak iki ana kısım üzerinde yoğunlaşmaktadır. Uzaktan algılanmış görüntülerin içerdiği geniş uzamsal ve izgesel çözünürlük aralıkları ve kullanılan sensörlerin çeşitliliği problemi daha karmaşık hale getirmektedir. Bu tez kapsamında içerik tabanlı görüntü erişimine ait iki temel problemden biri olan öznitelik çıkarmaya yönelik çalışmalar yapılmış ve üç özgün yöntem önerilmiştir. İlk yöntemde üç kanallı görüntülere ait güçlü özniteliklerin çıkarılması için boyut azaltma yöntemlerinden yararlanılmış olup, ikincisinde küçük boyutlu öznitelikler arasındaki sınıflar arası mesafeyi artırırken, sınıf içi mesafeyi azaltacak şekilde özniteliklerin daha iyi öğrenilebilmesi amaçlanmıştır. Bu doğrultuda çalışan üçlü kayıp fonksiyonu kullanan evrişimsel sinir ağına dayalı bir yöntem önerilmiştir. Üçüncü yaklaşımda ise çoklu bantlı çoklu etiketli görüntüleri üç boyutlu ve iki boyutlu evrişim ağlarıyla bir arada kullanan bir model önerilmiştir. Böylelikle içerik tabanlı erişim başarımı artırılacaktır. Bu tez için yapılan deneylerde literatürde yaygın olarak rastlanan UCM, AID, RSSCN7, PatternNet, Ankara verileri kullanılmış ve önerilen yöntemler literatürde yapılan diğer çalışmalarla da karşılaştırılmıştır. Üç kanallı uzaktan algılanmış İTGE alanında literatürde yapılmış çalışmalardan farklı olarak boyut azaltma yöntemleri ile üçlü kayıp fonksiyonu birleştirilmiştir. Çalışmalar sonucunda uzaktan algılanmış görüntülerin içerik tabanlı erişimi alanında üçlü kayıp fonksiyonu kullanmasıyla en iyi başarımı veren yaklaşımın başarımına yaklaştığı gözlemlenmiştir. Çoklu bantlı çoklu etiketli İTGE için üç ve iki boyutlu evrişim ağının birlikte kullanılmasıyla başarımın artığı gözlemlenmiştir.Due to the increasing number of remote sensing images, image retrieval has become a crucial problem and has led to content-based image retrieval. Content based image retrieval refers to a system that retrieves similar images to a given query image. Existing approaches in the field of content-based remote sensing image retrieval mainly focus on the extraction of features and similarity measurements. Content based image retrieval has become a major problem in remote sensing since the variety of spectral and spatial resolutions, and different sensors render remote sensing images more challenging than everyday images. In this work, we present three robust feature extraction methods to handle content based image retrieval of remote sensing images. Firstly, robust features are extracted using dimension reduction methods. Secondly, training with the features via a mini low dimensional convolutional neural network with triplet loss, which provides to decrease distance intra-class and increase distance inter-class, is proposed. In the third method, we present a model that is a spectral-spatial 3D CNN followed by spatial 2D CNN with multilabel hyperspectral images. In this work, we tested our methods with well-known datasets such as UCM, AID, RSSCN7, PatternNet, Ankara and compared the proposed methods against state of art alternatives. As a result of this comparison, it has been observed that the performance of content-based remote sensing image retrieval using our proposed methods has achieved comparable results to the state-of-the-art. The performance of content based multilabel hyperspectral images is improved with 3D and 2D CNN model.