Person Recognition Through Profiler Faces Using Ear Biometrics

Abstract

Recent studies in biometric systems have shown that the ear biometric is a reliable biometric for human recognition and among a lot of biometric traits it has achieved satisfying results for human recognition. In this thesis, 2D ear recognition approach based on the fusion of ear and tragus (small outer part of ear) using score-level fusion strategy is proposed. An attempt to overcome the effect of challenges such as partial occlusion, pose variation and weak illumination is done since the accuracy of ear recognition may be reduced if one or more of these challenges are available. In this thesis, the effect of the aforementioned challenges is estimated separately, and many samples of ear that are affected by two different challenges at the same time are also considered. The tragus is used as a biometric trait because it is often free from occlusion; it also provides discriminative features even in different poses and illuminations. The features are extracted using Local Binary Patterns (LBP) and the evaluation has been done on four datasets, namely USTB-1, USTB-2, USTB-3 and UBEAR. It has been observed that the fusion of ear and tragus can improve the recognition performance compared to the use of ear or tragus systems individually. Experimental results show that the proposed approach 1 enhances the recognition rates by fusion of parts that are non-occluded such as tragus in cases of partial occlusion, pose variation and weak illumination. It is observed that the proposed approach 1 that uses score-level fusion strategy performs better than feature-level fusion methods. Additionally, the proposed approach 1 performs better than most of the state-of-the-art ear recognition systems. Experimental results on three datasets show that the proposed approach 1 is robust and effective since it gives better results than the other matching algorithms under different ear challenges. The maximum accuracies achieved are 100% (under partial occlusion), 97.4% (under weak illumination), 100% (under pose variation), 97.5% (under real occlusion) for USTB-set1, USTB-set2, USTB-set3, UBEAR database, respectively. On the other hand, this study aims to measure the efficiency of ear and profile face modalities in human recognition under identification and verification modes. In order to obtain a robust multimodal recognition system using different feature extraction methods, we propose to fuse these traits with all possible binary combinations of left ear, left profile face, right ear and right profile face. Fusion is implemented by score-level fusion and decision-level fusion techniques in the proposed approach 2. Additionally, feature-level fusion is used for comparison. All experiments in this approach are implemented on the UBEAR database. Local Binary Patterns, Local Phase Quantization and Binarized Statistical Image Features approaches are used for feature extraction process in proposed approach 2. Images under different challenge such as illumination variation, pose variation and blurring are tested. Ear and profile face images from UBEAR database are used in the experiments. The experimental results show that the proposed approach 2 is more accurate and reliable than using ear or profile face images separately. The performance of the proposed approach 2 in terms of recognition rate is 100%, and in terms of Equal Error Rates is 1.9%.

ÖZ: Biyometri sistemleriyle ilgili son zamanlardaki çalışmalar, kulak biyometrisinin insan tanıma problemi için güvenilir bir biyometri olduğunu göstermiş ve diğer birçok biyometrik özellikler arasında, insan tanıma için tatmin edici sonuçlar elde edilmiştir. Bu tezde, kulak ve tragus olarak adlandırılan dışkulak kıkırdağı (kulağın küçük dış kısmı), skor-seviyesi kaynaşım stratejisi ile kaynaştırılıp 2 boyutlu yeni bir kulak tanıma yaklaşımı önerilmiştir. Kulak tanıma sistemlerinin doğruluğunu azaltan kısmi kapatma, poz değişimleri ve zayıf aydınlatma gibi zorlukların varolduğu durumlarda, bunların etkilerinin üstesinden gelmek için girişimler yapılmıştır. Bu tezde, bahsi geçen zorlukların etkileri ayrı ayrı tahmin edilmiş ve ayrıca aynı anda iki farklı zorluk barındıran kulak resimleri de ele alınmıştır. Tragus ise sıklıkla kapatma etkisinden uzak olduğu ve farklı poz ve aydınlatmalar için bile ayırt edici öznitelikler sağladığı için ayrı bir biyometrik özellik olarak kullanılmıştır. Öznitelikler, Yerel İkili Örüntü yöntemi ile çıkarılmış ve değerlendirmeler USTB-1, USTB-2 ve USTB-3 verisetleri üzerinde yapılmıştır. Deneyler sonucunda, kulak ve tragusun bireysel olarak kullanıldığı tanıma sistemlerine göre, kulak ve tragus kaynaşımı kullanılan sistemin tanıma performansını iyileştirdiği görülmektedir. Kısmi kapatma, poz değişimleri ve zayıf aydınlatmanın bulunduğu durumlarda, birinci önerilen yaklaşımın kapatılmış olmayan tragus ile kaynaşım yapıldığı için deney sonuçlarında tanıma oranlarının arttığı gözlemlenmiştir. Ayrıca, skor-seviyesi kaynaşım stratejisi kullanan birinci önerilen yaklaşım, öznitelik-seviyesi kaynaşım kullanan yöntemlere göre daha iyi performans göstermiştir. Buna ek olarak, birinci önerilen yaklaşım, literatürdeki diğer kulak tanıma sistemlerine göre daha iyi sonuçlar vermektedir. Üç veriseti üzerinde yapılan deney sonuçlarına göre, güçlü ve etkili olan birinci önerilen yaklaşım, değişik zorluklar altında, diğer eşleştirme algoritmalarından daha iyi sonuç vermiştir. Maksimum doğruluk oranları; kısmi kapatma durumunda %100 (USTB-set1 veriseti üzerinde), zayıf aydınlatma durumunda %97.4 (USTB-set2 veriseti üzerinde), poz değişimleri durumunda %100 (USTB-set3 veriseti üzerinde) ve gerçek kapatma durumunda ise %97.5 (UBEAR veriseti üzerinde) olarak bulunmuştur. Diğer yandan, bu çalışmanın bir diğer amacı da insan tanıma ve doğrulama işlemleri için kulak ve profil yüz resimlerinin etkisini ölçmektir. Güçlü bir insan tanıma sistemi elde etmek için; sol kulak, sol profil yüz, sağ kulak ve sağ profil yüz resimlerini içeren ve mümkün olan bütün ikili kombinasyonların kaynaşımını kullanan ve değişik öznitelik çıkarma yöntemleri uygulayan bir sistem önerilmiştir. Bu ikinci önerilen yaklaşımda, skor-seviyesi kaynaşım ve karar-seviyesi kaynaşım teknikleri uygulanmıştır. Buna ek olarak, karşılaştırma yapmak için öznitelik-seviyesi kaynaşımı da kullanılmıştır. Bu yaklaşımla ilgili bütün deneyler UBEAR veritabanı üzerinde yapılmıştır. İkinci önerilen yaklaşımda, öznitelik çıkarma işlemleri için Yerel İkili Örüntü, Yerel Faz Nicemleme ve İkili İstatistiksel Görüntü Öznitelikleri yaklaşımları kullanılmıştır. Aydınlatma değişimleri, poz değişimleri ve bulanıklık gibi farklı zorluklar içeren resimler test edilmiştir. UBEAR veritabanındaki kulak ve profil yüz resimleri deneylerde kullanılmıştır. Deney sonuçları, ikinci önerilen yaklaşımın, kulak veya profil yüz resimlerinin ayrı ayrı kullanıldığı sistemlere göre daha doğru ve güvenilir sonuçlar verdiğini göstermiştir. İkinci önerilen yaklaşım, tanıma oranı açısından %100 ve Eşit Hata Oranları açısından da %1.9 performans elde etmiştir.