Farklı spektral banttaki görüntülerin kaynaştırılması

Abstract

Çok sensörlü veriler çoğu zaman incelenen bölge hakkında tamamlayıcı bilgiler sağlar, daha karmaşık ve detaylı bir sahne sunumu sunan görüntüler elde edilmesi amacıyla uzaktan algılama, örüntü tanıma, askeri ve diğer alanlarda sahne analizi için imge kaynaştırma umut verici bir araştırma stratejisi olarak ortaya çıkmıştır. Çalışma kapsamında kızılötesi ve görünür görüntüler gibi insan görsel algısı, nesne tespiti ve hedef tanıma için daha iyi bir performans sağlayacak çok sensörlü verilerin kaynaştırılması üzerine odaklanılmıştır. Kaynaştırma işleminin ön şartlarından biri çok sensörlü görüntülerin doğru bir şekilde çakıştırılmasıdır. Bu çalışmada, çok sensörlü görüntülerde yapılan çakıştırma işleminin kaynaştırma sonucuna etkisini görebilmek için FLIR ADAS ve TNO veri kümelerinden elde edilen çakıştırılmamış gerçek görüntülerin çakıştırılmasının ardından literatürde sıklıkla kullanılan temel bileşen analizi (PCA), laplace piramidi (LP), ayrık dalgacık dönüşümü (DWT), örnek seyreltilmemiş çevritsel dönüşüm (NSCT) ve negatif olamayan matris ayrışımı (NMF) gibi yöntemlerle kaynaştırılmıştır. Kaynaşmış imgenin farklı açılardan özelliklerinin incelenebilmesi için oluşturulan görüntülerin performans değerlendirilmesi karşılıklı bilgi (MI), imge öznitelik tabanlı metrik QAB/F, NAB/F ve LAB/F, imge kenar tabanlı metrik QE, ortalama gradyan (AG) ve uzamsal frekans (SF) metrikleri kullanılmıştır.Multi-sensor data often provides complementary information about the studied area. Image fusion has emerged as a promising research strategy in order to obtain images that provide a more complex and detailed scene presentation for remote sensing, pattern recognition, military applications and other areas for scene analysis. The focus of this research is the fusion of multi-sensor data such as infrared and visible images, which will provide a better performance for human visual perception, object detection and target recognition. One of the prerequisites in the fusion process is the correct registration of the multi-sensor images. In this study, after the registration of the real unregistered images obtained from FLIR ADAS and TNO datasets in order to see the effect of registration process made on multi-sensor images on the fusion result, the registered images are fused with commonly used techniques such as principal component analysis (PCA), Laplace pyramid (LP), discrete wavelet transform (DWT), non-subsampled contourlet transform (NSCT), and non-negative matrix factorization (NMF) in the literature. Quality indices that are mutual information (MI), image feature-based metric QAB/F, NAB/F and LAB/F, image edge-based metric QE, average gradient (AG) and spatial frequency (SF) have used to evaluate the performances of the different methods.