Information extraction from sales flyers using semi-supervised learning

Abstract

Nesnelerin ve metinlerin algılanması ve bunların imgelerden çıkarılması, son 30 yılda hala mükemmelleştirmeye çalıştığımız büyük bir zorluk oldu. Görüntü öğreniminde Derin Öğrenme ve Makine Öğrenimi tekniklerindeki mevcut ilerleme ve özellikle satış broşürleri gibi birçok bilgiye sahip olan görüntü için amaç lokalizasyonu, amaç son yarım on yılda bir tartışma konusu olmuştur ve son zamanlarda çok parlak gelişmeler görmüştük. bu alt-görevlerden en az birini çözmeye çalışmakta ve yerelleştirmeyi ve resimlerden ve dijital belgelerden satış broşürleri olarak tanınmasını hedeflemektedir. Bu tezde, satış broşürlerinden bilgi çıkarımı için 3 adımdan oluşan otomatik bir öğrenme algoritması sunduk: birincisi, daha hızlı bölge evrişimsel sinir ağı (Faster RCNN) çerçevesinden ilham alan satış broşürlerinde nesnelerin (Ürünler) tespiti ve Özellik haritası olarak Artık Sinir Ağı. İkinci adım, satış broşürlerindeki metnin Optik karakter tanıma yöntemiyle algılanması ve çıkarılması ve son olarak her bir ürünün fiyat ve açıklama gibi bilgilerle birleştirilmesi amacıyla birleştirme algoritmasıdır. Üç farklı birleştirme algoritması sunduk ve bunları aralarında karşılaştırdık: İşlev algoritması (1) (nesne ve metin arasındaki mesafelerle birleştirme)% 74,% 64 Geri Çağırma, F1 Puanı% 69 ve Doğruluk% 67 kesinliğe ulaştı. İşlev algoritması (2) (Nesne, metin ve nesne üzerindeki metin arasındaki mesafelerle birleştirme)% 76,% 70'i Geri Çağırma, F1 Skoru% 73 ve Doğruluk% 71 kesinliğe ulaştı ve ana katkımız Convolutional sinir ağı CNN'in birleşimi oldu. ve Çok Katmanlı Perceptron (MLP)% 85, Geri Çağırma% 80, F1 Skoru% 82 ve Doğruluk% 81'i buldu.The detection of objects and texts as well as the extraction of them from images has been an enormous challenge that we are still trying to perfect for the past three decades. The current progress in deep learning and machine learning techniques in image classification and object localization particularly for images ,which has a lot of information as sales flyers, has been a topic of discussion in the last half-decade and we have seen some brilliant advancements in recent times which try to solve at least one of these sub-tasks text and object localization and recognition from images and digital documents as sale flyers. In this thesis we presented an automatic learning algorithm for information extraction from sales flyers, which consists of 3 steps: the first is, the detection of objects (Products) in the sales flyers inspired by the faster region convolutional neural network (Faster RCNN) framework and Residual Neural Network as feature map. The second step is, the detection and extraction of the text in the sale flyers by optical character recognition and finally the merge algorithm to merge each product with its information such as price and description. We presented three different merge algorithms and compared them: The function algorithm (1) (merge by distances between object and text) achieved a precision 74%, Recall 64%, F1 Score 69% and Accuracy 67%. The function algorithm (2) (merge by distances between Object, text and text on the object) achieved a precision 76%, Recall 70%, F1 Score 73% and Accuracy 71%. The main contribution of this thesis been the combination of Convolutional neural network (CNN) and Multilayer Perceptron (MLP) achieved a precision 85%, Recall 80%, F1 Score 82% and Accuracy 81%.