Türk işaret dili tanıma için zayıf-güdümlü makine öğrenmesi yöntemi

Abstract

Türk İşaret Dili'nin (TİD) tanınması bir bilgisayarlı görme kapsamında bir yapay zekâ problemidir. Bu problemin çözülebilmesi için Yapay Sinir Ağları (YSA) kullanılmaktadır. Bu tez kapsamında TİD'in tanınmasına yönelik YSA modeli öne sürülmektedir. Bu sınıflandırma modelinin eğitilmesi için, TİD'e özgü bir veri kümesi gereklidir. Bu veri kümesinin tüm varyasyonları içermesi gerektirmektedir. Çözülmesi gereken bu problem için gerekli olan veri kümesi birlikte düşünüldüğünde bunun pahalı bir problem olduğu aşikardır. Bu tez kapsamında zayıf güdümlü bir makine öğrenmesi yöntemiyle veri kümesini oluşturma kısmını kolaylaştırıp modelleme yapılması hedeflenmektedir. Bu bağlamda tez 2 aşamadan oluşmaktadır. İlk olarak TİD için bir veri kümesi oluşturulmuştur. Bu veri kümesi 512 adet farklı kelime sınıfından oluşturulmuştur. Veri kümesi oluşturulurken kaynak olarak çevrim içi platformlar kullanılmıştır. Bu aşamadan sonra frekans baz alınarak farklı sınıf sayıları için dengeli ve dengesiz olmak üzere toplam 6 adet alt veri kümesi oluşturulmuştur. Oluşturulan bu veri kümelerinin sınıf sayıları sırasıyla 5, 10 ve 15'tir. Veri kümesi oluşturulduktan sonra eğitim aşamasına geçilmiştir. Eğitim aşamasında iki farklı model kullanılmıştır. Elde edilen bu yeni veri kümesiyle basit yapılı bir UKSB tabanlı model inşa edilerek tekrar eğitim gerçekleştirilmiştir. İkinci eğitim aşamasının sonunda en yüksek doğruluğa ve en küçük kayıp değerine sahip model ağı seçilerek tahminleme yapılmıştır. Yukarıda bahsi geçen süreçlerin ve tahmin yapma sürecinin tamamı oluşturulan 6 ayrı alt veri kümesi için tekrarlanmıştır. Eğitim süreçlerinin sonunda her iki tarz veri tipi için de başarı oranı çoğunlukla %90'ın üzerinde olsa da dengeli veri kümelerinde daha iyi sonuçlar gözlemlenmiştir. Sınıf sayısı arttırıldıkça başarı oranının arttığı gözlemlenmiştir.

Turkish Sign Language (TİD) recognition is an artificial intelligence problem within the scope of computer vision. Artificial Neural Networks (ANN) are used to solve this problem. In this thesis, the YSA model for the classification of TID is proposed. A TID-specific dataset is required to train this classification model. This dataset requires to contain all variations. Considering the dataset required for this problem to be solved, it is obvious that this is an expensive problem. In this thesis, it is aimed to facilitate the process of obtaining the dataset with a semi-supervised machine learning method and then modeling. In this context, the thesis consists of two stages. First, it acquires a dataset, which contains 512 different word classes. It uses online platforms as a source. After this stage, a total of 6 sub-datasets, balanced and unbalanced, are formed for different class numbers based on frequency. The class numbers of these datasets are 5, 10, and 15, respectively. Then, the training phase is initiated. Two different models are used in the training phase. With this new dataset, a simple LSTM-based model is built, and retraining is carried out. At the end of the second training phase, the model network with the highest accuracy and the smallest loss value is selected and a prediction is made. At the end of the training process, although the success rate for both types of data is mostly above 90%, better results are observed in balanced datasets. It is observed that the success rate increased as the number of classes increased.