Fruit Classification using Global and Local Descriptors

Abstract

Recognizing different kinds of food such as vegetables and fruits is a recurrent task in supermarkets where the cashier must be able to point out not only the species of a particular fruit but also its variety which will determine its price. The use of barcodes has mostly ended this problem for packaged products but given that consumers want to pick their produce, they cannot be packaged, and thus must be weighted. A common solution to this problem is issuing codes for each kind of fruit/vegetable; which have problems given that the memorization is hard, leading to errors in pricing. In view of this, attention for classification and matching of these foods were carried out using global and local descriptors. In this thesis, global descriptors such as Principal Component Analysis (PCA), Histograms of Oriented Gradients (HOG) and local descriptors such as Local Binary Patterns (LBP), Binarized Statistical Image Features (BSIF) are implemented in order to classify fruits. Experiments are conducted on two datasets from Fruits_360 database and TropicalFruits database. Experimental results obtained with global and local descriptors are presented as a comparative analysis on fruit classification on the aforementioned datasets. Among all descriptors, BSIF results are better than the other algorithms employed with 70.06% and 75.00% on the aforementioned datasets, respectively. On the other hand, LBP algorithm achieved 61.11% and 75.00% recognition rate while HOG results are 37.96% and 58.33% and PCA results are 42.90% and 45.83% on both datasets, respectively. The results show that local descriptors achieve better performance compared to the performance of the global descriptors for fruit classification. Keywords: Fruit classification, Global Descriptors, Local Descriptors, PCA, HOG, LBP, BSIF.

ÖZ: Meyve ve sebze gibi besinlerin süpermarketlerde sınıflandırılması tekrarlanan bir işlemdir. Ürünlerin fiyatlarının belirlenmesi için kasiyerlerin belirli bir meyvenin hem cinsini hem de çeşidini işaretlemesi gerekir. Bu problemin çözümü için paketlenmiş ürünlerde barkod kullanılır. Ancak müşterinin paketlenmemiş meyve almak istediği durumlarda, meyvenin tartılıp fiyatlandırılması gerekir. Meyve ve sebze sınıflandırma probleminin genel çözümü her çeşit meyve/sebze için bir kod belirlemektir. Fakat bu kodun ezberlenmesi zor olduğu için fiyatlandırmada hatalar oluşabilir. Bu durumda ürünlerin sınıflandırılması ve eşleştirilmesi için evrensel ve yerel yöntemlere başvurulur. Bu tezde meyve sınıflandırması için evrensel yöntemlerden Ana Bileşenler Analizi (PCA) ve Gradientlere Yönelik Histogramlar (HOG); yerel yöntemlerden de Yerel İkili Örüntü (LBP) ve İkili İstatistiksel Görüntü Öznitelikleri (BSIF) kullanılmıştır. Deneyler, Fruits_360 ve TropicalFruits veritabanları üzerinde yapılmıştır. Bu veritabanları üzerinde yapılan karşılaştırmalı sınıflandırma analizlerinin sonuçları, evrensel ve yerel yöntemler kullanılarak elde edilmiştir. Kullanılan yöntemler arasında diğerlerine göre en iyi sonuçları bahsedilen veritabanları üzerinde %70.06 ve %75.00 olarak veren BSIF yöntemidir. Öte yandan, LBP yöntemi ile %61.11 ve %75.00 tanıma oranları, HOG yöntemiyle %37.96 ve %58.33, PCA yöntemiyle de %42.90 ve %45.83 tanıma oranları bahsedilen iki veritabanı üzerinde sırasıyla elde edilmiştir. Meyve sınıflandırması için elde edilen sonuçlar, yerel yöntemlerin evrensel yöntemlere göre daha başarılı olduğunu göstermiştir. Anahtar kelimeler: Meyve sınıflandırma, evrensel tanımlayıcılar, yerel tanımlayıcılar, PCA, HOG, LBP, BSIF.