Graph representation learning for text-based event detection

Abstract

Olay, normal davranışlardan farklı davranışların olduğu durumlardır. Her geçen gün bir çok olay gerçekleşmektedir. Her geçen gün sosyal medyadaki paylaşımların sayısı düşünüldüğünde bu bilgi kirliliğinden olayların sosyal medyadaki etkilerinin tespit edilmesi gerekmektedir. Olay tespit yöntemleri de sosyal ağları analiz ederek olay tetikleyicileri, olayın zamanı, olayda bahsi geçen kişiler, konum gibi olaya ait bilgileri tespit etmeyi amaçlamaktadır. Tez çalışmasında olayın en önemli yapı taşlarından biri olan zaman kavramına yoğunlaşılmıştır. Bu amaçla mikroblog yazılarından olaylara ait zaman vektör temsillerinin çıkarılması üzerine çizge tabanlı modeller geliştirilmiştir. Microblog yazıları, kullanıcı ve zaman bilgileri yılan çizgesi adını verdiğimiz çizge gösterimine dönüştürülmüştür. Yılan çizgesi microblog yazılarını yazan kişi, ne zaman yazıldığı gibi bilgilerin yanında metinde geçen kelimeleri içeren zengin bir gösterim sunmaktadır. Bu gösterim kavramlar ve aralarındaki ilişkileri de barındırmaktadır. Node2vec algoritması düğümlerin vektör temsilerini ve graph2vec algoritması da alt çizgelerin vektör temsilerini çıkartmaktadır. Zaman bilgisine ait daha fazla bilgiyi çizgelere gömmek için gün, ay, yıl gibi zaman hiyerarşi bilgisi ile çizgeler zenginleştirilmiştir. Çizgelerdeki zaman harici gibi diğer kavramların da daha iyi öğrenilmesi için transfer öğrenme modelleri kullanılmıştır. Elde edilen zaman ve diğer kavramlar için vektör temsillerinin başarısına dair çeşitli deneyler gerçekleştirilmiştir. Zaman vektör gösterimlerini değerlendirmek için oluşturduğumu gösterimde aynı ayda olan günlerin vektör gösterimlerinin özellik vektör uzayında gruplaştığı gözlemlenmiştir. Mikrobloglar için çıkarılan vektör temsillerinin başarısını test etmek için yapılan deneylerde ise bu temsiller ile eğitilmiş Uzun Kısa Vadeli Hafıza Ağları (LSTM) derin öğrenme modeli ile anahtar kelimeler test edilmeye çalışılmıştır.

An event is a situation where there is behavior that differs from normal behavior. Many events emerge each day. Considering the volume of content that users share on social media daily, identifying events is necessary. The field of event detection encompasses event triggers (which we extract from social media), time, people, location, etc. In our study, we observe that time is one of the most crucial aspects of an event. Thus, we decided to use graph representation learning algorithms to extract vector representations (or embeddings) from microblog posts. These embeddings can represent an entire microblog post or key information within the dataset. We organize all key information (dates, words, and users) in the form of a graph, known as SnakeGraph. The SnakeGraph captures information such as a given microblog post's user, date, and words. We retrieve node embeddings using the node2vec algorithm and subgraph embeddings using the graph2vec algorithm. We enrich the graph by incorporating hierarchical date information, which consists of the year, the month, and then the day. We also use an approach inspired by transfer learning to enhance the vector representations. We extract the embeddings of dates and other key information, and we conduct a variety of experiments. To evaluate the date embeddings, we created a visualization which shows that two similar dates are closer to each other in the embedding space. To test how effective are the embeddings of the microblog posts we extracted, we use the long short-term memory (LSTM) neural network.