Vision transformer ve retentive network yöntemleri ile görüntü üzerine dugu analizi

Abstract

Son yıllarda bilgisayarla görme ve veri odaklı modelleme alanındaki ilerlemeler sayesinde video duygu analizi alanında önemli gelişmeler yaşanmıştır. Video içeriğindeki duygusal ifadelerin anlaşılması, farklı alanlarda giderek daha fazla önem kazanmakta ve bu amaçla doğruluk ve verimliliği artırmak üzere yeni yöntemler geliştirilmektedir. Bu çalışmada, Retentive Networkler ile Vision Transformerların entegrasyonu video verilerindeki duygu analizinde kullanılan bir çerçeve olarak incelenmiştir. Geleneksel görüntü tabanlı değerlendirmelere ek olarak, performans ve kaynak kullanımı arasında denge sağlamak amacıyla kısa video segmentlerinde kare örnekleme yöntemi uygulanmıştır (örneğin, saniyede 7 kare). Ardışık kareler arasındaki yüzler mekânsal tutarlılık kullanılarak takip edilmiş ve geçerli yüz dizileri üzerindeki sonuçların ortalaması alınarak duygu sınıflandırması gerçekleştirilmiştir. YOLO, SSD, Faster R-CNN, MTCNN, Haar Cascades ve RetinaFace gibi çeşitli yüz tespit modelleri test edilmiş olup, güvenilir performansı ve hafif hesaplama gereksinimi nedeniyle RetinaFace tercih edilmiştir. Önerilen RetViT modeli, video tabanlı veri setinde 0.80 doğruluk oranı elde ederek, dinamik duygusal ifadeleri yakalamada etkinliğini göstermiştir. Karşılaştırmalı sonuçlar, önerilen modelin doğruluk, uyarlanabilirlik ve ölçeklenebilirlik açısından geleneksel modellere göre tutarlı gelişmeler sağladığını ortaya koymaktadır. Vision Transformerlar ve benzeri mimariler görüntü sınıflandırma görevlerinde yaygın olarak kullanılmış olsa da, bu çalışma onların video tabanlı duygu analizinde umut vadeden uygulamalarını vurgulamakta ve gerçek zamanlı uygulamalar gibi alanlarda gelecekteki araştırmalar için zemin hazırlamaktadır.The field of video sentiment analysis has seen considerable progress in recent years, supported by advances in computer vision and data-driven modeling. As understanding emotional expressions in video content gains importance across various domains, new methods are being developed to improve accuracy and efficiency. This study explores the integration of Retentive Networks and Vision Transformers as a framework for analyzing emotions in video data. In addition to conventional image-based evaluations, an extended approach was applied to short video segments. Frames were sampled at reduced frequency (e.g., 7 frames per second) to balance performance and resource usage. Faces were tracked across consecutive frames using spatial consistency, and emotions were classified by averaging results across valid face sequences. Among several face detection models tested—including YOLO, SSD, Faster R-CNN, MTCNN, Haar Cascades, and RetinaFace—RetinaFace was selected for its reliable performance and lightweight computational demand. Comparative results show that the proposed combination achieves consistent improvements over traditional models in terms of accuracy, adaptability, and scalability. While Vision Transformers and related architectures have been widely used in image classification tasks, this work highlights their promising application in video-based emotion analysis and sets the stage for future exploration, including potential use in real-time settings such as online meetings.