Using augmented reality interfaces for artificial intelligence systems

Abstract

Bu çalışmada, karmaşık derin öğrenme modellerinin aşamalarının daha hızlı anlaşılması ve incelenmesi için 3 boyutlu ortamda artırılmış gerçeklik arayüzleri kullanılarak yeni bir görselleştirme yolu tanıtılmıştır. Geleneksel olarak derin öğrenme modelleri üzerinde yapılan iki boyutlu görselleştirme metotlarından farklı olarak bu yaklaşımın amacı, kullanıcılara ek bir boyut sunmaktır. Bu bağlamda derin öğrenme modellerinin incelenmesi amacıyla 3 boyutlu artırılmış gerçeklik arayüzlerinin sunduğu avantajlar ve kullanıcı deneyimine etkileri değerlendirilmiştir. Kullanıcı görüşleri alınarak yapay zeka sistemlerinde hangi konuda görselleştirmenin faydalı olabileceğine karar verilmiştir. Bu aşamada tasarım odaklı düşünme yaklaşımı ile kullanıcı deneyimi süreçleri işlenerek nihai uygulama oluşturulmuştur. Derin öğrenme modellerinin tahmin etme sürecinde katmanlarda ilerlerken hangi aşamalardan geçip hangi öznitelik haritalarını çıkardığı, hangi girdiye odaklanıp, hangi girdinin çıktı üzerinde etkili olduğunu inceleyerek bir görüntünün sınıflandırma sonucuna nasıl ulaştığı görüntülenmiştir. Bunun için öncelikle öznitelik harita çıkarımı, birer CNN modeli olan Lenet ve Alexnet modelleri üzerinde uygulanmıştır. Uygulama 2 boyutlu ortam olarak bilgisayarda masaüstü uygulaması, 3 boyutlu ortamda da Microsoft Hololens-2 gözlüğünde AR uygulaması olarak 51 kullanıcıyla test edilmiştir. Derin öğrenme modellerinin izlenebilirliği konusunda 2 boyutlu ortamdaki arayüzler ile 3 boyutlu ortamda artırılmış gerçeklik arayüzlerinin kullanılabilirlik analizi yapılmıştır. Öncelikle A/B testi uygulanarak kullanıcılar kontrol ve deney grubu olarak iki gruba ayrılmış ve her bir gruba tek bir sistem deneyimletilmiştir. Kullanılabilirlik, SUM (Single Usability Metric) modeli adı verilen tamamlanma veya tamamlanmama durumlarını, tamamlanma sürelerini ve memnuniyeti içeren bir teknikle ölçülmüştür. Kullanıcılara görevler verilmiş ve görev sırasında ve sonrasında gözlem yapılmıştır. Memnuniyet, kullanıcı memnuniyeti ölçüm anketi olan ASQ (After Scenerio Questionerie) ile hesaplanmıştır. Sonrasında kullanmadıkları diğer sistem de denetilerek karşılaştırmalı yorumlar alınmıştır. Bu çalışmada artırılmış gerçeklik arayüzlerinin kullanılabilirliği %90 olarak ölçülmüştür. Kullanıcılardan alınan cevaplara göre gelişen bu teknolojinin karmaşık derin öğrenme modellerinde kayda değer bir fayda sağlayacağı sonucu elde edilmiştir. Bu sistemlerin insanların yapay zeka sistemlerini daha etkin bir şekilde kullanmalarına katkısı olacağına karar verilmiştir.

In this study, a new way of visualization is introduced using augmented reality interfaces in a 3D environment for faster understanding and examination of the stages of complex deep learning models. Unlike two-dimensional visualization methods traditionally based on deep learning models, the aim of this approach is to offer users an additional dimension. In this context, in order to examine deep learning models, the advantages offered by 3D augmented reality interfaces and their effects on user experience were evaluated. By taking user opinions, it was decided which visualizations would be useful in artificial intelligence systems. At this stage, the final application was created by processing user experience processes with a design-oriented thinking approach. As the deep learning models progress through the layers in the prediction process, it is displayed how they reach the classification result of an image by examining which stages they go through and which feature maps they produce, which input they focus on, and which input is effective on the output. For this purpose, feature map extraction was first applied on Lenet and Alexnet models, which are CNN models. The application was tested with 51 users in a 2D environment as a desktop application on a computer, and in a 3D environment as an AR application on Microsoft Hololens-2 glasses. Regarding the traceability of deep learning models, a usability analysis of interfaces in 2D environment and augmented reality interfaces in 3D environment was conducted. First of all, by applying A/B testing, users were divided into two groups, control and experimental groups, and each group was given a single system experience. Usability was measured with a technique called the SUM (Single Usability Metric) model, which includes completion or non-completion, completion times and satisfaction. Users were given tasks and observations were made during and after the task. Satisfaction was calculated with ASQ, which is a user satisfaction measurement survey. Afterwards, the other system they did not use was also tested and comparative comments were made. In this study, the usability of augmented reality interfaces was measured as 90%. It has been concluded that this technology, developed according to the answers received from users, will provide significant benefit in complex deep learning models. It was decided that these systems would contribute to people's use of artificial intelligence systems more effectively.