Generation of precise 3D model with RGB UAV and integration to the game engine: Case study Gebze Technical University

Abstract

Son zamanlarda oyun motoru teknolojisinde yaşanan gelişmeler doğrultusunda sanal gerçeklik (VR) ve arttırılmış gerçeklik (AR) konseptleri birer ilgi odağı haline gelmektedir. Ayrıca devam eden COVID-19 salgını ve evde kalma zorunluluğu nedeniyle çeşitli müzeleri ve cazibe merkezlerini kapsayan VR uygulamalarına gerçekleştirilen ziyaretlerin arttığı gözlemlenmiştir. Bu çalışma kapsamında, Gebze Teknik Üniversitesi (GTÜ) Kampüs alanına ait bir üç boyutlu (3B) VR tur uygulaması oluşturmak amacıyla insansız hava aracından (İHA) elde edilen veriler Unity oyun motoru kullanılarak sanal bir ortama entegre edilmiştir. Kampüs alanına ait yüksek kaliteli doku giydirilmiş 3B katı modellerin elde edilmesi için farklı görüntüleme geometrilerinde ve yüksekliklerde uçuşlar gerçekleştirilmiştir. DJI Phantom 4 Pro V2.0 üzerine yerleştirilmiş 20 megapiksel (MP) Sony Exmor RGB kamera kullanılarak 2.2 cm'den küçük yer örnekleme aralığına (GSD) sahip hava fotoğrafları elde edilmiştir. Nokta bulutu ve doku giydirilmiş 3B katı model üretimi işlemleri için hareketten yapı tabanlı Agisoft Metashape Professional görüntü eşleme yazılımı kullanılmıştır. Geometrik düzeltme sırasında arazi üzerine yerleştirilmiş 86 adet yer kontrol noktası (YKN) kullanılmış ve karesel ortalama hata değeri ±2 cm (~0.9 piksel) olarak elde edilmiştir. Üretilen 3B doku giydirilmiş katı modeller Unity oyun motoruna aktarılmış ve büyük boyuttaki poligon verisinin uygulama performansına olan etkisinin azaltılması amacıyla oklüzyon ayırma ve uzay alt bölümü gibi görselleştirme optimizasyonu algoritmaları uygulanmıştır. Ek olarak, ağaç, aydınlatma direği, bank ve çardak gibi objelere ait hazır 3B obje modelleri eklenerek uygulamanın görselliği iyileştirilmiştir. Kampüs hakkında bilgi vermek amacıyla kampüs binalarına ait öznitelik bilgisi içeren interaktif bilgi panelleri yerleştirilmiştir. Son olarak, gerçekçi bir VR deneyimi için uygulamaya birinci şahıs bir oyuncu eklenmiştir.

Lately, concepts of both virtual reality (VR) and augmented reality (AR), gained increased attraction due to improvements in game engine technology. Also, due to the ongoing COVID-19 pandemic and requirements to stay at home, VR visits become more popular. In this study, the Gebze Technical University (GTU) Campus area was chosen to create a three-dimensional (3D) VR tour application by integrating data obtained from an unmanned aerial vehicle (UAV) into a virtual environment by utilizing the Unity game engine. For acquiring high-quality 3D textured mesh models of the Campus, various imaging geometries and flight altitudes were employed. With a ground sampling distance (GSD) of ?2.2 cm, the aerial photos were obtained from 20 megapixels (MP) Sony Exmor RGB camera equipped DJI Phantom 4 Pro V2.0 UAV. Structure from motion (SfM) based image matching software Agisoft Metashape Professional was used for point cloud generation and 3D textured mesh model production. The geometric correction was carried out by utilizing 86 well-distributed ground control points (GCPs) with an accuracy of ±2 cm (~0.9 pixels) as root mean square error (RMSE). Produced 3D textured mesh models were imported into the Unity game engine and rendering optimization algorithms such as occlusion culling and space subdivision were applied for increasing performance. In addition, the visual capability of the application was enhanced by adding premade 3D models of singular objects such as trees, lighting poles, benches, and arbours. Interactive information panels with metadata of Campus buildings were placed over the environment for providing general knowledge about the Campus area. Finally, for a realistic VR tour, a first-person player was added.