Derin öğrenme yöntemleri kullanılarak Türkçe haber metinlerinden haber başlığı üretilmesi

Abstract

Otomatik metin özetleme problemi, makine öğrenmesi ve doğal dil işleme alanlarında yaygın olarak çalışılmaktadır. Günümüzde internet üzerinden erişilebilen verilerin devasa boyutlara ulaşması sebebiyle metinleri otomatik olarak kısaltan, sadece istenilen bilgiye hızlı bir şekilde ulaştıran ve makine tarafından üretilen özet sistemlerine ihtiyaç vardır. Metin özetleme sistemlerinin günümüzde pek çok kullanım alanı bulunmaktadır. Haber başlıklarının üretilmesi bu kullanım alanlarına örnek olarak gösterilebilir. Literatürde çıkarıma dayalı ve yoruma dayalı olmak üzere iki çeşit metin özetleme yaklaşımı mevcuttur. Çıkarıma dayalı metin özetleme yaklaşımında, girdi metnini önemli ölçüde açıklayacak kelimeler veya cümleler seçilerek metinde herhangi bir değişiklik yapılmadan özet oluşturulur. Yoruma dayalı metin özetleme yaklaşımında ise, kelimeler anlamlandırılıp yeni cümleler oluşturularak özet elde edilir. Dolayısıyla yoruma dayalı özetleme sayesinde insanlar tarafından daha anlaşılır özetler oluşturmak mümkündür. Bu çalışmada, yoruma dayalı metin özetleme yaklaşımı ile Türkçe haber metinlerinden haber başlıkları üretilmiştir. Haber başlıkları üretilirken derin öğrenme yöntemlerinden kodlayıcı-kod çözücü mimarisi geliştirilmiştir. Sistemin eğitim aşamasında bir RNN çeşidi olan Çift Yönlü LSTM ağı dikkat mekanizması ile birlikte kullanılmıştır. Sistemin test aşamasında ise haber başlıklarının çıkarımı sırasında, kod çözücü olarak açgözlü arama ve ışın aramaları kullanılmıştır. Deneyler sırasında sistem çeşitli sözlük boyutları, haber başlığı boyutları, haber metni boyutları ve ışın genişlikleri ile ayrı ayrı test edilmiştir. Sistemin başarısını ölçerken ROUGE değerlendirme metriği ve anlamsal benzerlik skorları kullanılmıştır. İki ayrı veri kümesinde gerçekleştirilen deney sonuçlarına göre dikkat mekanizması ile eğitilmiş olan Çift Yönlü LSTM ağı ile ışın aramasının kullanıldığı modelde, en iyi parametrelerle ortalama ROUGE-1 skoru 0,27 olarak ve ortalama anlamsal benzerlik skoru 0,60 olarak elde edilmiştir.The problem of automatic text summarization is widely studied in the field of machine learning and natural language processing. Due to size of the enormous data that is accessed over the internet, there is a need for machine-generated summary systems that automatically shorten texts, deliver only the desired information quickly. Text summarization systems can be used in many areas in our daily life. Generation of news headlines is an example of these usage areas. There are two types of text summarization approaches in the literature: extractive and abstractive. In extractive text summarization approach, words or sentences that explain the input text better are selected and a summary is created without any changes in the original text. However, in abstractive text summarization approach, summaries are generated with new sentences that are formed by words based on their meanings. Therefore, it is possible to generate summaries that are more meaningful to the people by using abstractive text summarization approach. In this study, news headlines have been generated from Turkish news texts by using abstractive text summarization approach. While generating news headlines, encoder-decoder architecture from deep learning methods has been developed. During training phase of the system Bidirectional LSTM network, which is a type of RNN, is used together with attention mechanism. In test phase of the system, greedy search decoder and beam search decoder approaches are used while inferencing new headlines. During the experiments, system has been tested separately on various dictionary sizes, news headline lengths, news text lengths and beam widths. The success of the system is measured by both ROUGE score and semantic similarity score. According to the experiment results carried out in two separate news datasets, the system achieved average ROUGE-1 score of 0,27 and average semantic similarity score of 0,60 with the best parameters trained on Bidirectional LSTM network together with attention mechanism and beam search decoder.