Yapay sinir ağı sonuçlarının oylanarak gerçek zamanlı göz bebeği merkezinin tespiti

Abstract

Teknolojinin hızlı bir şekilde gelişmesi ile beraber göz bebeği merkezinin kestirimi, son yıllarda bilgisayarla görme alanında üzerinde sıklıkla çalışılan konulardan biri haline gelmiştir. Göz bebeği merkezi tespit sistemleri günlük yaşantıda pek çok insan-bilgisayar etkileşimi uygulamalarında kullanılabilmektedir. Sürücü dikkat takip sistemleri, engelli insanların göz ile kontrol edebildiği sistemler, göz bakış açısı tespit sistemleri, yorgunluk tespit sistemleri ve uyku tespit sistemleri bu tür uygulamalara örnek olarak gösterilebilir. Ticari amaçlı geliştirilen göz bebeği merkezi tespit sistemleri genellikle bir özel donanıma ihtiyaç duyarlar. Literatürde bu alanda özel donanım gerektiren sistemlere alternatif olarak geliştirilen çalışmalar yaygınlaşmaktadır. Bu çalışmada hiçbir özel donanıma ihtiyaç duyulmadan göz bebeği merkezi gerçek zamanlı olarak tespit edilmiştir. Çalışmada önerilen yöntemde derin öğrenme algoritmalarından KSA kullanılmaktadır. Göz bölgesinden dört farklı ölçekte elde edilen görüntüler birleştirilerek AlexNet ağ yapısı ile eğitilmiştir. Eğitim aşamasında göz bölgesinden elde edilen görüntü parçaları için gerekli olan etiket bilgileri ilgili parçalardaki göz bebeği merkez noktalarına göre belirlenmiştir. Sistemin test aşamasında ağırlıklı ortalama, kaba kuvvet araması tabanlı rastgele nokta, optimizasyon tabanlı rastgele nokta ve iki aşamalı optimizasyon tabanlı rastgele nokta olmak üzere dört farklı yöntem uygulanmıştır. Gerçekleştirilen deney sonuçlara göre sistem BioID veri kümesi üzerinde optimizasyon tabanlı rastgele nokta yöntemi ile ortalama 12,1 FPS hızına ulaşmıştır. Ayrıca sistem literatürdeki alternatif yöntemlere göre daha yüksek başarı oranları elde etmiştir. En yüksek başarı oranı ise ağırlıklı ortalama yöntemi ile elde edilmiştir.With the rapid development of technology, estimation of the eye pupil center has become one of the most frequently studied subjects in the field of computer vision in recent years. Systems working on detecting human eye pupil center can be used in many human-computer interaction applications in our daily life. Examples of such applications include driver attention tracking systems, eye-controllable systems for disabled people, human gaze estimation systems, fatigue detection systems and sleep detection systems. Commercially available systems that detect eye pupil center generally require a specialized hardware. In the literature, studies developed as an alternative to these systems that require a specialized hardware are getting more popular. In this work, eye pupil center was estimated in real time without any need of a specialized hardware. The proposed method in this work uses CNN from deep learning algorithms. Four different scale image patches gathered from the eye region were combined and fed into AlexNet neural network in order to train the model. Class label information required for image patches obtained from the eye region in the training phase was determined according to the eye pupil center locations. In the test phase of the system, four different methods including weighted average, brute force search based random point, optimization based random point and two stage optimization based random point were applied. According to the experiment results, the system reached an average rate of 12,1 FPS on the BioID dataset with optimization based random point method. Our results achieved more success then similar state of the art methods. The highest success rate was obtained by weighted average method.