Fusing the RGB image and LiDAR data for road detection

Abstract

Sürülebilir yol tespiti, otonom araçlar için en temel sorunlardan biridir. Bu problem için en sık kullanılan sensörler RGB kameralar ve LiDAR'lardır. RGB kamera verileri renk gibi çok sayıda görsel bilgi içerirken, LiDAR verileri ortam ışığından etkilenmeden hassas konum bilgisi sağlamaktadır. Çeşitli çalışmalar, yol tespiti için bu iki sensörün birlikte kullanılmasının daha kararlı sonuçlar ürettiğini göstermiştir. Ancak sensörlerin ürettiği verilerin farklı biçimlerde ve boyutlarda olması, elde edilen özniteliklerin verimli bir şekilde kullanılması için sensör füzyon yöntemini kritik hale getirmektedir. Bu tezde, ilk olarak LiDAR verileri işlenerek füzyona uygun hale getirilmiştir. Daha sonra, erken füzyon, geç füzyon ve çapraz füzyon olmak üzere üç farklı U-Net tabanlı özgün görüntü bölütleme mimarisi geliştirilmiştir.Ardından, bu mimariler ile KITTI yol tespiti veri seti üzerinde modeller eğitilmiş ve değerlendirilmiştir. RGB görüntüsünü ve LiDAR yükseklik fark görüntüsünü kullanan erken füzyon ve çapraz füzyon modelleri, değerlendirilen modeller arasında en yüksek MaxF skorlarını elde etmişlerdir. Modeller ayrıca literatürdeki diğer başarılı modeller ile de karşılaştırılmış ve rekabetçi sonuçlar elde edilmiştir.Drivable road detection is one of the most fundamental problems for autonomous vehicles. The most commonly used sensors for this problem are RGB cameras and LiDARs. While RGB camera data contains a wealth of visual information, such as colour, LiDAR data provides precise position information without being affected by ambient light. Several studies show that using these two sensors together for road detection produces more robust results. However, the fact that the data produced by the sensors are in different forms and spaces makes the sensor fusion method critical to utilise the obtained features efficiently. In this thesis, first, LiDAR data was processed to make them suitable for fusion. Afterwards, three different U-Net-based novel image segmentation architectures were developed: early fusion, late fusion, and cross fusion. Then, the models based on these architectures were trained and evaluated on the KITTI road detection dataset. The early fusion and cross fusion models using the RGB image and LiDAR altitude difference image achieved the highest MaxF score among the evaluated models. The models were also compared with other state-of-the-art models in the literature, and the results were at a competitive level.