Monitoring hand hygiene via temporal video processing

Abstract

lin insanlarla ve yüzeylerle olan aşırı teması, bulaşıcı hastalıkların hızla yayılmasına sebep olmaktadır. Artan bu infeksiyon hızı da hasta sorunlarına, hastanede uzun kalış sürelerine, finansal problemlere ve hatta ölümlere neden olabilmektedir. Bundan dolayı, özellikle de Coronavirüs hastalığı pandemisi nedeniyle, el hijyeni her zamankinden daha hayati bir önem kazanmıştır. Dünya Sağlık Örgütü'nün önermiş olduğu belirli el hareketleriyle gerçekleştiren başarı el yıkama, hijyeni korumak ve kontaminasyonu önlemek için gerekli bir prosedürdür. Bu tezin amacı, başarılı el yıkama sürecini takip etmek için kullanılabilecek bir el yıkama izleme sistemi sunmaktır. El yıkamada sürecinde hareketlerin tanınmasında bilgisayarlı görme ve derin öğrenme dünyasındaki yaklaşımlardan yararlanılmaktadır. Görüntü düzlemindeki piksellerin hareketini ele alan optik akış yöntemi, RGB el yıkama videolarından alınan tekli ve çoklu görüntüleri zenginleştirmek için kullanılır. El hareketlerini sınıflandırmak için, evrişimsel sinir ağı (CNN), uzun kısa süreli bellek (LSTM) ve görüntü dönüştürücü (ViT) tabanlı çeşitli derin öğrenme yaklaşımları bu zenginleştirilmiş girdilerle beslenir. Deneylerimiz, optik akışın orijinal görüntülerle birlikte kullanıldığında modellerin performansını iyileştirdiğini açıkça göstermektedir. Ayrıca, en iyi sonuçlar, ellerin zamansal ilişkisini daha iyi yakalama eğiliminde olan ve optik akış açılarını içeren uçtan uca CNN-LSTM modeli ile elde edilmiştir (%93,84).The rapid spread of infectious diseases is caused by excessive hand contact with people or surfaces. These increased infection rates can result in patient problems, lengthy hospital stays, financial difficulties and even deaths. Therefore, hand hygiene has been of more vital importance than ever, especially due to the Coronavirus disease pandemic. Successful hand sanitization using the World Health Organization's (WHO) suggested hand movement sequences is a crucial procedure in preserving hygiene and reducing contamination. The purpose of this thesis is to offer a hand sanitization monitoring framework that can be used to ensure that the proper handwashing procedure is followed. Approaches in the world of computer vision and deep learning are utilized in the action recognition of hand movements in the handwashing process. The optical flow method, which addresses the movement of pixels in the image plane, is used to enrich single and multiple images taken from RGB handwashing videos. For classifying hand movements, diverse deep learning approaches based on convolutional neural network (CNN), long short-term memory (LSTM), and vision transformer (ViT) are fed with these enriched inputs. Our experiments clearly show that optical flow advances the performance of models when used along with original images. Besides, the best results are obtained by the end-to-end CNN-LSTM model including the angles of motion, which tends to better capture the temporal dependence of hands (93.84%).