Impact of human pose in fashion image understanding

Abstract

Elektronik ticaretin yaygınlaşması, hazır giyim sektöründe de depolanan verilerin artışına sebep olmuştur. Hazır giyim verilerinin işlenmesi müşteri memnuniyetini ve şirketlerin kazancını artırmak amacıyla elzemdir. Kişiye özel ürün sunumları, tüketiciye hitap eden ürün önerileri ve bir moda nesnesini tanıma, moda alanındaki problemlerden bazıları olarak ele alınabilir. Bu problemleri otomatik olarak çözümlemek için bilgisayarla görmeye ihtiyaç duyulmaktadır. Bu tezde, moda alanındaki bazı problemlere çözüm getirmek için bilgisayarla görme yöntemleri kullanıldı. Tesettür giyim öğeleri kullanarak, kullanıcıya/müşteriye uygun kişiselleştirilmiş ürünler sunmak için bir benzerlik puanlayıcı oluşturuldu. Görüntü çiftlerinde benzerlik puanlanması; moda alanında verilen ürüne en çok benzeyen öğeyi arama (görüntü benzerliği), aynı kategoriden verilen ürüne benzer ürünleri bulma (ürün benzerliği) gibi bazı sorunları çözer. Tüm bu benzerlik problemlerini çözmek, ürünü tanımakla başlar. Bu nedenle bu çalışmada önce bilinen bir problem olan sınıflandırma üzerinde çalışıldı. Bir sınıflandırıcı oluşturmak için öznitelik çıkarma yöntemi olan otomatik kodlayıcı tam bağlı sinir ağlarıyla birleştirilerek ürünleri tanıma üzerinde poz bilgisinin etkisi incelendi. Sınıflandırma ve ürün benzerlik puanlaması problemleri üzerinde insan görüntülerinden elde dilen poz tahmininin yaptığı etkiyi araştırabilmek için bilinen bir poz çıkarım yöntemiyle poz bilgisi elde edildi. Yapılan çalışma ile tesettür moda ürünlerinin işlenmesinde doğan ihtiyaç sebebiyle, benzer ürünler bulma, kullanıcı/müşterinin verdiği ürün fotoğrafından kullanıcının tercihine uygun öneriler sunma gibi problemleri çözmede poz bilgisinin olumlu etkisi gösterildi. Tesettür ürünlerinde giyen kişinin duruşu, sınıflandırma probleminde doğruluk puanını ortalama %26 artırırken, benzerlik puanlama probleminde ise poz ile çalıştırılan modelde %5 oranında artış sağlamıştır.The amount of data kept by the fashion industry has increased as a result of the growth of electronic commerce. Processing clothing data is crucial for boosting business earnings and consumer satisfaction. Some of the issues in the fashion industry can be addressed, such as personalized item offerings, suggestions of products that appeal to consumers, and identifying a fashion object. In order to automatically handle these issues, computer vision is necessary. In this thesis, we employ computer vision techniques to address several issues in the fashion industry. Using modest clothing items, a similarity ranker is created to offer personalized products suitable for the user/customer. Similarity scoring solves some problems in fashion field like searching most resembling item to the given item (image similarity), finding similar products to the given product from same category (product similarity). Solving all these similarity problems starts with recognizing the product. For this reason, in this study, firstly, a known problem, classification, was studied. The effect of pose information on product recognition was investigated by combining the autoencoder, which is a feature extraction method, with fully connected neural networks to create a classifier. In order to investigate the effect of pose estimation from human images on classification and product similarity scoring problems, exposure information was obtained by a known pose extraction method. With the study, the positive effect of posing knowledge in solving problems such as finding similar products, offering suggestions suitable for the user's preference from the product photo given by the user/customer, due to the need arising in the processing of hijab fashion products was demonstrated. In the categorization problem, the posture of the wearer raised accuracy scores by an average of 26%, while in the similarity scoring problem, the model using stance increased accuracy scores by 5%.