Üç boyutlu iskelet verilerinden metrik öğrenme tabanlı hareket tanıma

Abstract

İnsan hareketlerinin analizi bilgisayarla görme alanının önemli problemlerinden biridir. Bu problem, hareketlerin bilgisayar tarafından analiz edilmesi olarak tanımlanabilir. Hareketlerin tanınması, fizik tedavi, güvenlik, eğlence ve biyometri gibi pek çok alana katkı sağlayacaktır. Literatür çalışmaları, günlük (yeme, içme, oturma vb.) ya da spor (koşma, dalma, bisiklet sürme vb.) hareketlerin tanınması, hasta hareketlerinin analizi, biyometrik hareket verileri ile kişi tanıma veya gözetim amaçlı şüpheli hareket tespiti için yöntemler sunmaktadır. İnsan hareketi verileri 2B veya 3B görüntülerden elde edilmektedir. 3B veriler, 2B verilere ek olarak görüntüdeki piksellerin derinlik bilgilerini de içermektedir. 3B hareket görüntüleri üzerinde bulunan iskelet eklem koordinatları, hareketleri daha verimli ve daha doğru ifade etmektedir. Bu tez kapsamında, 3B iskelet görüntüleri kullanılarak insan hareketlerinin analizi için iki ayrı yöntem önerilmiştir. Bu yöntemlerden ilki, hareketler için gösterim tabanlı bir çözüm sunmaktadır. Geometrik eklem çantası olarak adlandırdığımız yöntem, 3B iskelet görüntülerinin zamansal ve geometrik özniteliklerini çıkartıp, SoftMax yöntemi ile sınıflandırmaktadır. Önerdiğimiz ikinci yöntem ise, derin ağ tabanlıdır. Tasarladığımız İkiz LSTM-DML ağı, eylemlerin birbiri ile olan ilişkisini öğrenerek hareketleri tanımaktadır. Ağ iki farklı hareketi girdi olarak almaktadır. Her bir hareketin ağdaki LSTM alt ağları sayesinde zamansal öznitelikleri çıkarılmaktadır. Çift yönlü olarak parametre paylaşımı ile eğitilen ağ, hareketlerin derin metriklerini öğrenmektedir. Böylece baştan sona çalışan ağ, derin metrikleri kullanarak hareketleri sınıflandırabilmektedir. Sınıflandırma dışında hareketlerin benzerliklerini çıkarabilen yöntem diğer çalışmalara kıyasla daha genelleştirilebilirdir. Bu tez için iç mekânda spor ve gündelik hareketlerden oluşan GTU Action 3D veri kümesi oluşturulmuştur. Yöntemlerimiz kendi veri kümemize ek olarak Florence Action 3D, Microsoft, NTU RGB+D veri kümeleri üzerinde test edilmiş ve literatür çalışmaları ile karşılaştırılmıştır.Human action recognition, one of the crucial problems of the computer vision, is analyzing human actions via computers. Action recognition affects many research areas such as physiotherapy, surveillance, multimedia, biometrics and so on. Related works mainly focus on the patients' actions analysis, person recognition, surveillance for suspicious movements detection and daily activities (such as eating, drinking, sitting, etc.) and sports actions (such as running, diving, cycling, etc.) recognition. Human action data is acquired from 2D and 3D images. In addition to 2D images, 3D images contain the depth information for each pixel. Skeleton joint coordinates on 3D images provides a more efficient and more reliable way to represent human actions. In this work, we present two different methods for analyzing human actions on 3D skeleton images. The first method is a representation-based solution for human action recognition problem. This method, called the geometric bag of joints based human action recognition, utilizes the spatial-temporal behavior of 3D skeleton frames and uses SoftMax regression method to classify human actions. The other method is a deep neural network-based method. For this method, we designed a Siamese LSTM-DML network which learns the relationship between actions and recognizes human actions using this relationship information. For each action, sub-LSTM networks extract the temporal features of human actions. Using these features, the network is trained with two-way parameter sharing and learns the deep metrics of actions. Therefore, the end-to-end trainable network can classify human actions. Unlike the other method, this method is more generalizable and can learn the relationship between human actions. As a part of this study, we created a GTU Action 3D dataset that contains daily indoor activities and indoor sports actions. Our methods are tested against Florence Action 3D, MSR Action3D, NTU RGB+D datasets as well as our own dataset. Also, we compared our methods to related works.