İşaretli gözlük sayesinde 3B göz bakış doğrultusunun kestirimi

Abstract

Gözün geometrik şeklinin ışık, engellemeler ve konumu nedeniyle değişken olması ve baş pozisyonunun önemi, göz bakış doğrultusunun kestiriminin son 30 yıldır bilgisayarla görme alanında ilgi çeken bir çalışma konusu olmasını sağlamıştır. Problemin her durumda çalışabilir olması için üç boyutlu (3B) baş pozisyonunun ve 3B göz modelinin birlikte kullanılması gerekmektedir. Bu çalışmada, başın pozisyonu için basit bir gözlük ve eğitim sırasında ortasında delik olan bir kağıt kullanılarak yeni ve ucuza mal edilebilen 3B göz bakış doğrultusu kestirimi yöntemi geliştirilmiştir. Gözlük ve kağıt üzerinde 3B konumunu belirlemek için 3B konumu bilinen işaretçiler bulunmaktadır. Bu sayede geliştirilen yöntem fazladan kamera ve herhangi bir ışık kaynağı kullanmadan, baş pozisyonunu ve göz bakış doğrultusunu sınırlandırmadan çalışabilmektedir. Yapılan çalışmanın getirmiş olduğu bir takım yenilikler bulunmaktadır. Bunlardan ilki, ortasındaki delikten gerçek dünyadaki bir noktaya bakılan kağıdın eğitim sırasında kalibrasyon hatasını en aza indirgemesidir. İkinci yenilik ise kullanıcının kornea merkezinin gözlük koordinat sistemine göre 3B konumunun hesaplanmasıdır. Aynı zamanda yöntem, 3B elipsoit olarak modellenen korneanın yarıçaplarını her bir kullanıcı için hesaplayabilmektedir. Geliştirilen yöntem, çeşitli kullanıcılarla test edildiğinde literatürdeki benzer yöntemlerle karşılaştırılabilir düşük hata değerine sahip olduğu gözlemlenmiştir.The geometric shape of eye that varies due to light condition, location of eye and occlusion, and the importance of head pose information have provided the eye gaze estimation problem to be a hot topic research area in computer vision for the last 30 years. For the robust solution of the problem, the three dimensional (3D) head pose and the 3D eye model should be used together. In this work, a new and cheaper Line of Gaze (LoG) method has been proposed by using a target paper with a hole for training and simple glasses for the head pose estimation. Both the target and the glasses are marked with known 3D position of corners of the fiducial marks for 3D localization. The developed system does not need any extra cameras or IR light sources for the estimation of head pose and the eye gaze, and also it does not impose any restrictions on the user head movements or the LoG orientations. The proposed method includes many novel contributions. The first novelty is that the paper, through which the user looks at the real world point, prevents user calibration errors during the training phase. The second one is that the 3D position of the cornea center can be calculated on glasses coordinate system. The third one is the estimation of the radii of the cornea whose shape is modeled as a 3D ellipsoidal. By testing over several users, the proposed method is shown to achieve low error rates that are comparable to the state of the art.