Distinguishing Identical Twins Using Facial Images and Various Feature Extractors

Abstract

Recognizing identical twins is considered as one of the most critical challenges in biometric systems due to the shortage of uniqueness and distinction between the identical twins. The lack of discriminative features could be compensated using different sources of information. In this thesis, two different hybrid approaches using three biometric traits namely frontal face, profile face and ear are proposed and implemented to distinguish identical twins. The proposed strategies are particularly based on feature-level fusion, score-level fusion and decision-level fusion. Both proposed approaches are evaluated using identical twins and non-twins individuals. In the proposed method 1, frontal face is employed together with three feature extraction algorithms namely Principal Component Analysis, Histogram of Oriented Gradients and Local Binary Patterns. Fusion in this approach is conducted by all the aforementioned fusion techniques and different challenges are considered such as illumination, expression and ageing using ND-Twins-2009-2010 and FERET databases. The lowest Equal Error Rates of identical twins recognition that are achieved using the proposed method are 2.07% for natural expression, 0.0% for smiling expression and 2.2% for controlled illumination compared to 4.5%, 4.2% and 4.7% Equal Error Rates of the best state-of-the-art algorithm under the same conditions. On the other hand, symmetry challenge of profile face and ear is tested in the proposed approach 2 by using Local Binary Patterns, Local Phase Quantization and Binarized Statistical Image Features feature extraction algorithms. The samples of both sides of profile face and ear are extracted from ND-Twins-2009-2010 and UBEAR databases. In this approach, the extent of symmetry of left and right sides of each trait is measured in order to be used for recognition purposes. Finally, symmetry experiments using multimodal biometric traits are implemented and compared with our proposed approach which uses feature-level and score-level fusion. The maximum accuracies achieved are 75% for identical twins using ND-Twins-2009- 2010 database; moreover 88.04% and 79.89% for non-twins using ND-Twins-2009- 2010 and UBEAR databases, respectively. Keywords: identical twins, face recognition, ear recognition, score-level fusion, feature-level fusion, decision-level fusion, multimodal biometrics.

ÖZ: Biyometrik sistemlerde, tek yumurta ikizlerinin tanınması veya ayırt edilmesi, ikizlerin arasındaki benzerlikten dolayı en kritik zorluklardan biridir. Bu yüzden, tek yumurta ikizlerinin belirleyici özniteliklerinin çıkarılması için farklı bilgi kaynakları kullanılmaktadır. Bu tezde, tek yumurta ikizlerinin ayırt edilmesi için ön yüz, profil yüz ve kulak görüntülerini kullanan iki farklı melez yöntem önerilmiş ve uygulanmıştır. Önerilen yöntemlerde öznitelik seviyesi kaynaşım, skor seviyesi kaynaşım ve karar seviyesi kaynaşım stratejileri kullanılmıştır. Önerilen her iki yaklaşım da tek yumurta ikizleri ve ikiz olmayan kişilerin görüntüleri kullanılarak değerlendirilmiştir. İlk önerilen yöntemde, ön yüz görüntülerinin öznitelikleri Ana Bileşenler Analizi, Gradientlere Yönelik Histogramlar ve Yerel İkili Örüntü yaklaşımları kullanılarak çıkarılmıştır. Bu yaklaşımda ayrıca bahsi geçen tüm kaynaşım teknikleri de uygulanmıştır. Aydınlatma, yüz ifadesi ve yaşlanma etkileri de farklı zorluklar olarak incelenip ND-Twins-2009-2010 ve FERET veritabanları üzerindeki deneylerde gözönüne alınmıştır. İlk önerilen yöntem tarafından elde edilen tek yumurta ikizlerinin tanınması deneylerindeki en düşük Eşit Hata Oranları, doğal yüz ifadesi için %2.07, gülümseyen yüz ifadesi için %0.0 ve kontrollü aydınlatma için %2.2 olarak saptanmıştır. Literatürdeki diğer yaklaşımların aynı koşullar altında elde ettikleri en iyi Eşit Hata Oranları ise sırasıyla %4.5, %4.2 ve %4.7 olarak bulunmuştur. Diğer yandan, profil yüz ve kulak görüntülerindeki simetrik özellikler, ikinci önerilen yöntemde, Yerel İkili Örüntü, Yerel Faz Nicemleme ve İkili İstatistiksel Görüntü Öznitelikleri algoritmalarının yardımıyla test edilmiştir. Profil yüz ve kulak görüntülerinin her iki yandan çekilmiş görüntüleri ND-Twins-2009-2010 ve UBEAR veritabanları üzerinden elde edilmiştir. Bu yaklaşımda, bahsedilen herbir kişisel özelliğin sol ve sağ yanlarının (a)simetri derecesi ölçülmüş ve bu ölçümler ikiz ve ikiz olmayan kişilerin tanınması amacıyla kullanılmıştır. Son olarak, birden fazla biyometriğe dayalı simetri deneyleri yapılıp öznitelik seviyesi kaynaşım ve skor seviyesi kaynaşım tekniklerini barındıran önerilen yöntemle karşılaştırılmıştır. Deneyler sonucunda elde edilen maksimum doğruluk oranları, ND-Twins-2009-2010 veritabanı üzerinde tek yumurta ikizlerinin tanınması için %75 olup; ikiz olmayan kişiler için ND-Twins-2009-2010 ve UBEAR veritabanları üzerinde sırasıyla %88.04 ve %79.89 olarak hesaplanmıştır. Anahtar kelimeler: tek yumurta ikizleri, yüz tanıma, kulak tanıma, skor seviyesi kaynaşım, öznitelik seviyesi kaynaşım, karar seviyesi kaynaşım, birden fazla biyometri.