Ultrason görüntülerinden uzam-zamansal derin ağlara dayalı dil konturu tespiti

Abstract

Ultrason teknolojisi, insanlar üzerinde zararlı etkilerinin bulunmaması, gerçek zamanlı veri sağlaması, görece ucuz olması gibi sebeplerden dolayı yaygın olarak kullanılmaktadır. Ultrason görüntülerinden dil konturu tespiti: Dilin modellenmesi, yabancı dil öğrenmede telaffuz eğitimi, dilin yapısal bozukluğundan meydana gelen kalıtsal hastalıkların tespiti, bazı üflemeli müzik enstrümanlarını çalma eğitimi gibi birçok alanda kullanılmaktadır. Bu tez çalışması kapsamında, derin öğrenme tabanlı, ultrason görüntülerinden dil konturu tespiti yapan iki farklı yöntem geliştirilmiştir. İlk yöntemde, CNN, ultrason görüntüsü parçacıkları ile eğitilip oluşturulan model üzerinde tahmin yapılarak kontur tespit edilmiştir. Ultrason görüntüsü parçacıklarına, kontura uzaklığına göre sınıflar atanarak eğitim gerçekleştirilmiştir. Eğitilmiş model üzerinde kayan pencere yöntemi ile yapılan tahminler sayesinde her bir parçacığın dil konturu üzerinde olma ihtimali belirlenmiştir. Bu parçacıklar ve ihtimaller kullanılarak regresyon ile 3.dereceden bir eğri uydurulup dil konturu tespiti gerçekleştirilmiştir. Önerilen ikinci yöntemde ise uzam-zamansal LSTM ağları eğitilerek dil konturu tespiti gerçekleştirilmiştir. Ultrason görüntüleri, polar koordinat sistemine çevrilerek görüntü matrisinin her bir kolonu, ultrason yansıtıcısından çıkan bir ışına denk gelecek şekilde LSTM'in zaman adımlarına verilerek eğitim gerçekleştirilmiştir. Uzamsal ve uzam-zamansal olarak iki tür LSTM ağı eğitilmiştir. Bu sayede uzamsal ve zamansal bilgiler birleştirilip video karelerinin arasındaki zaman bilgisi de kullanılarak başarım arttırılmıştır. Çalışmada kullanılan veri kümesi, laboratuvar ortamında, ultrason cihazı kullanılarak, 5 farklı denek ile iki oturumda yapılan kayıtlardan oluşturulmuştur. Elde edilen başarım, literatürde şimdiye yapılmış derin öğrenme ve aktif kontur modeli tabanlı çalışmaların başarımına göre daha yüksektir. Sistem, başarımının yüksek olmasının yanında gerçek zamana yakın bir hız performansı da göstermektedir.Ultrasound technology is widely used for reasons such as lack of harmful effects on humans, providing real-time data, being relatively cheap. Tongue contour detection from ultrasound images; It is used in many areas such as language modeling, pronunciation training in foreign language learning, speech to text conversion, detection of hereditary diseases caused by tongue structural disorder and training to play some blown musical instruments. In this thesis, two different methods is developed that are based on deep learning and that perform tongue contour detection from ultrasound images. In the first method, CNN was trained with ultrasound image parts and predicted on the created model to detect the contour. Training is carried out by assigning classes to ultrasound image parts, according to distance from tongue contour. The probability of each parts being on the tongue contour is determined by the sliding window method on the trained model. By using these parts and probabilities, a 3rd degree curve is fitted and a tongue contour is determined. In the second method, the tongue contour is determined by training the spatio-temporal LSTM networks. Ultrasound images are transformed into the polar coordinate system and each column of the image matrix is trained by giving the time steps of the LSTM to coincide with a beam emitting from the ultrasound transducer. Two types of LSTM networks are trained as spatial and spatio-temporal. In this way, spatial and temporal information is combined and performance is improved by using the time information between video frames. The data set used in the study is created from recordings made in two sessions with 5 different person, using ultrasound device, in laboratory environment. The final accuracy results are exceed the state of the art results. In addition to its high performance, the system also shows a speed performance close to real time.