Spoof Detection on Ear Biometrics

Abstract

Ear recognition systems are one of the biometrics-based popular person identification systems. The attacks to these biometrics identification systems become inevitable. In this context, the emerging ear recognition systems need to counter against spoof attacks. Consequently, ear anti-spoofing problem is focused in this thesis. In the biometric community, the types of attacks can be listed as; printed photo attack, display attack, replay attack, mask attack etc. In this thesis, printed photo attack is considered. Firstly, the Image Quality Assessment (IQA) methods are employed to find a solution to this problem. Therefore, 21 Full-Reference (FR) and 4 No-Reference (NR) IQA measures are implemented to extract features from ear images. In addition to this, Convolutional Neural Network (CNN) which is a deep learning method is implemented to detect impostor ear samples. Further, texture-based Binarized Statistical Image Features (BSIF) method is applied to represent the features of ear images. In this context, four different methods are proposed for distinguishing genuine ear images from impostor ones. The first one employs Decision-Level-Fusion (DLF) technique to combine FR and NR IQA measures. Secondly, three-level fusion of FR and NR IQA measures is implemented by using Score-Level-Fusion (SLF) and DLF techniques. Additionally, a CNN-based system and 5 IQA measures are combined by applying DLF technique as a third method. Finally, BSIF and CNN-based methods are fused by using DLF technique. The used databases for experiments are AMI, UBEAR, IITD, USTB Set 1, USTB Set 2 and USTB Set 3 which are publicly available. However, the spoof database for aforementioned databases is not available. Therefore, the spoof database which contains print attack is constructed in this thesis. Keywords: Ear biometrics, Spoof detection, Image quality assessment, Deep learning, CNN-based method, Texture-based method, BSIF, Printed photo attack

ÖZ: Kulak tanıma sistemleri biyometri tabanlı popüler kişi tanıma sistemlerinden biridir. Biyometri tabanlı tanıma sistemlerine yapılan saldırılar kaçınılmaz hale gelmiştir. Bu bağlamda, ortaya çıkan kulak tanıma sistemlerinin yanıltma saldırılarına karşı mücadele etmesi gerekmektedir. Sonuç olarak, kulak yanıltma önleme problemi bu tezde ele alınmaktadır. Biyometrik sistemlere karşı saldırı türleri şöyle sıralanabilir: fotoğraf baskısı, görüntü saldırısı, tekrar görüntüleme saldırısı, maske saldırısı vb. Bu tezde, basılı fotoğraf saldırıları göz önünde bulundurulmuştur. İlk olarak, bu soruna bir çözüm bulmak için Görüntü Kalitesi Değerlendirmesi (IQA) yöntemi kullanılmıştır. Bu nedenle, kulak görüntülerinden öznitelikleri çıkarmak için 21 Tam Referanslı (FR) ve 4 Referanssız (NR) IQA yöntemi uygulanmıştır. Buna ek olarak, derin bir öğrenme yöntemi olan Konvolüsyonel Sinir Ağı (CNN), sahtekâr kulak örneklerini tespit etmek için uygulanmıştır. Ayrıca, doku bazlı yöntem olan İkili İstatistiksel Görüntü Öznitelikleri (BSIF), kulak görüntülerinin özniteliklerini temsil etmek için uygulanmıştır. Bu bağlamda, gerçek kulak görüntülerini sahtekâr olanlardan ayırmak için dört farklı yöntem önerilmiştir. İlki, FR ve NR IQA ölçümlerini birleştirmek için Karar Seviyesi Kaynaşım (DLF) tekniğini kullanır. İkinci olarak, FR ve NR IQA yöntemlerinin üç seviyeli kaynaşımı, Skor Seviyesi Kaynaşım (SLF) ve DLF teknikleri kullanılarak uygulanmıştır. Ayrıca, üçüncü bir yöntem olarak CNN ve 5 IQA yöntemi, DLF tekniği uygulanarak birleştirilmiştir. Son olarak, BSIF ve CNN tabanlı yöntemler DLF tekniği kullanılarak birleştirilmiştir. Deneyler için kullanılan veritabanları, kamuya açık olan AMI, UBEAR, IITD, USTB Set 1, USTB Set 2 ve USTB Set 3'tür. Bununla birlikte, yukarıda belirtilen veritabanları için sahte veritabanı mevcut değildir. Bu nedenle, baskı saldırısı içeren sahte veritabanı bu tezde oluşturulmuştur. Anahtar Kelimeler: Kulak biyometrisi, Yanıltma saptama, Görüntü kalitesi değerlendirmesi, Derin öğrenme, CNN tabanlı yöntem, Doku tabanlı yöntem, BSIF, Basılı fotoğraf saldırısı