Action recognition using microwave radar sensors

Abstract

İnsan hareketlerinin tahmin edilmesi birçok alanda ihtiyaç duyulan, araştırmacıların üzerinde çalıştığı güncel önemli bir konudur. Literatürde, kamera, giyilebilir teknolojiler ve sensor teknolojilerinin kullanıldığı çözümler olsa da bu çözümler konumdaki ve ışıktaki değişime oldukça bağımlıdır. Kamera sensorleri ciddi mahremiyet ihlallerine yol açmaktadır. Giyilebilir sensor teknolojileri ise iskelet yapısınını tamamı hakkında yeterli bilgi sağlayamamaları gibi kısıtları vardir. Bu yüzden kullanışlı olmayıp, tercih edilmemektedir. Bu tezde Frequency Modulated Continuous Waves (FMCW) milimetre dalga boylu (MMWAVE) radar kullanılarak insan hareketlerinin tahmin yapılmıştır. Radardan elde edilen nokta bulutu yerine radar alıcı antenlerinde oluşan ham veriye odaklanılmıştır. Belirli bir zaman periyodunda yapılan insan hareketlerinin Mmwave radar alıcı antenlerinde oluşturduğu ham veri kaydedilerek "VIDAR" ismini verdiğimiz görselleştirme tekniği kullanılarak çok kanallı ve çok boyutlu forma dönüştürülmüştür. Bu data öncelikle Support Vector Machine modelimizin eğitiminde kullanılmış olup, ardından finetune ettiğimiz CNN networkünün eğitilmesinde kullanılmıştır. Eğitilen modeli daha önce hiç görmediği veriler ile sınayabilmek için gerçek zamanlı test ortamı oluşturulmuştur. Bu ortamda yapılan testler sonucunda, insan hareketlerinin %90 üzerinde doğrulukla tahmin edildiği gözlenmiştir.Prediction of human movements is an important issue that is needed in many fields and that researchers are working on. Although there are solutions using camera, wearable technologies and sensor technologies in the literature, these solutions are highly dependent on the position of sensors and intensity of the light beams reflected from the objects in the environment. Camera sensors cause serious privacy violations. Wearable sensor technologies, on the other hand, have limitations such as not being able to provide sufficient information about the entire skeletal structure. Therefore, these methods are not practical and not preferred. In this thesis, human movements were predicted using Frequency Modulated Continuous Waves (FMCW) millimeter wavelength (MMWAVE) radar. Instead of the point cloud obtained from the radar, the raw data formed in the radar receiver antennas are focused. The raw data created by the human movements in a certain time period on the Mmwave radar receiver antennas were recorded and converted into a multichannel and multi-dimensional form using the visualization technique we call "VIDAR". This data was first used in training our Support Vector Machine model and then used in training the CNN network we finetune. A real-time test environment has been created to test the trained model with data it has never seen before. As a result of tests conducted in this environment, it has been observed that human movements are predicted with an accuracy of over 90%.