Türkçe otomatik dudak okuma sistemi

Abstract

Teknolojideki ilerleme, otomatik konuşmayı anlama sistemlerinin Bilgisayar- İnsan Etkileşimi'nde yaygın bir şekilde kullanılmaya başlanmasına neden oldu. Bununla birlikte bu sistemler hala sıradan ortamlarda yetersiz kalmaktadır. Şu anki uygulamalar; ofis, açık hava gibi ortamlarda rastlanılan arkaplar gürültüsü veya birden fazla insanın aynı anda konuştuğu durumlara karşı çok hassastırlar. Bu durumun üstesinden gelmenin yollarından biri, konuşmayı anlama sistemlerinde insanların yaptığı gibi görsel bilgilerden yararlanmaktır. Araştırmalara göre insanların konuşmayı anlamasında görsel işaretler önemli rol oynamaktadır. Bu yüzden otomatik konuşmayı anlama sistemlerinde dudak okumadan da yararlanılması, bizi daha verimli Bilgisayar-İnsan Etkileşimi'ne bir adım daha yaklaştıracaktır. Bu projenin temel hedefi, Türkçe diline dayalı uygulanabilir bir dudak okuma sistemi oluşturmaktır. Türkçe dili için iki işitme engelli tarafından bir fonem-vaysem eşleşim tablosu hazırlanmış ve dudak biçimini çıkaran bir sistem oluşturularak, bu eşleşim tablosuyla birlikte, konuşmacının ne dediğini anlamaya çalışan bir uygulama oluşturulmaya çalışılmıştır.

Advances in technology in recent years have led to a widespread use of automatic speech recognition (ASR) systems in Human-Computer Interaction (HCI). However, ASR systems still perform poorly, when it comes to real world applications. Most approaches are very sensitive to background noise or fail when more than one speaker talks simultaneously, as it often happens in offices, outdoors and other real world environments. One way of overcoming these limitations of audio-only ASR systems is to use the additional visual information of the act of speaking, just like humans do. Psycholinguistic research has found that visual cues like lip movements play an important role in speech understanding by humans. Thus, a lip reading system as part of an ASR system leads thus one step closer to more natural HCIs. The major aim of this project is to show a simple and applicable way of a "Lip Reading System" on Turkish Language. Two hard-of-hearing people have prepared a Turkish language phoneme-viseme mapping table. Some basic lip features are extracted. After that; these features and the mapping table are used as to find that what the speaker says.