Machine learning for product quality inspection

Abstract

Önemli bir tüketim alanı kuruyemiş olan antep fıstığının kullanıcıya çıtlatılmış olarak sunulması gerekmektedir. Çıtlaklık kalite kontrolü sektörün başlangıcından bu yana insanlar tarafından el ile yapılmaktadır. Fakat kalite kontrolünün insanlar tarafından yapılması hem pahalıdır hem de bu süreci yavaşlatmaktadır. Bu maliyet ve hız problemlerinin üstesinden gelmek için otomasyon sistemlerine ihtiyaç duyulmaktadır. Endüstriyel beklentilere göre bu otomasyon sisteminin fıstık başına işlem süresinin olabildiğince minimum olmalı ve %98 üzerinde doğruluğa sahip olması gerekmektedir. Bu nedenle bu problemi hız, maliyet ve endüstriyel beklentilere cevap verebilecek bir şekilde görsel sensörleri kullanarak çözmeyi amaçlayan bir otomasyon sistemi yaptık. Öncelikle, antep fıstığı bağlanım ve derin evrişimli sinir ağı kullanarak bölütledik ve sonrasında fıstık "FıstıkNet" adını verdiğimiz bir derin evrişimli sinir ağı ile kırık olup olmadığını bulduk. Bu aşamadan sonra endüstrinin gerçek ortamını taklit edecek bir ortam oluşturuldu. Bu ortamda tek kamera ile endüstrinin kıstaslarının gerçekleyebilmesi için FıstıkNet' in yapısı geliştirildi. Ayrıca bölütleme ve sınıflandırma işlemlerini yapabilmek için büyük bir veri kümesi oluşturuldu.Pistachio is widely consumed as a snack which requires the shell to be properly cracked for easy access to its kernel. The quality control process to detect that the pistachio is cracked is carried out by people from the beginning. But carrying out quality control by humans is expensive and makes quality control process slow. To deal with cost and speed challenges automated systems are required. According to the industrial expectations such a system should provide minimum process time per pistachio and over 98% accuracy. Consequently, we built a system that provides speed, cost and industrial expectations using cameras. First, the pistachio is segmented from the background using support vector regression (SVR) or deep convolutional neural network (CNN). And then pistachio is classified as cracked or not-cracked using CNN that we called "FistikNet". After this stage we set up an environment which simulates the real-world industry. To use FistikNet in this real-world condition, we improved FistikNet while it still satisfies industry's requirement with single camera. For this reason, we have achieved more than 98% classification accuracy while using deep learning based method that is first time for this problem. Additionally, due to deep learning based methods require relatively large dataset we build a large pistachio visual inspection dataset is created to accomplish segmentation and classification.