Fusion of Face and Iris Biometrics for Person Identity Verification

Abstract

This thesis focuses on fusion of multiple biometric systems in different fusion levels especially score level fusion and feature level fusion. Generally, multimodal biometrics based systems aim to improve the recognition accuracy using more than one physical and/or behavioral characteristics of a person. In fact, fusion of multiple biometrics combines the strengths of unimodal biometrics to achieve improved recognition accuracy. This thesis improves the recognition accuracy by proposing different schemes in score level fusion, feature level fusion, decision level fusion and combination of different fusion levels such as score and feature level fusions. Face and iris biometrics are used to obtain a robust recognition system by using several feature extractors, score normalization and fusion techniques in four different proposed schemes. Global and local feature extractors are used to extract face and iris features separately as unimodal system and then the fusion of these modalities is performed on different subsets of face and iris image databases. Subpattern-based PCA (spPCA), modular PCA (mPCA) and Local Binary Patterns (LBP) methods are used as local feature extractors. Beside these local methods, global feature extractors such as Principal Component Analysis (PCA) and subspace Linear Discriminant Analysis (LDA) are also used to compare the performance of global feature extractors on face and iris images separately. On the other hand, Libor Masek’s iris recognition system is employed on iris images in some schemes to extract iris features. In order to enhance the recognition accuracy of unimodal and multimodal systems in some proposed schemes, Particle Swarm Optimization (PSO) is also implemented as feature selection procedure in reducing the dimension of feature vectors and subsequently improving the recognition performance. The performance of different schemes is validated on several datasets using recognition accuracy and Receiver Operator Characteristics (ROC) analysis. These schemes are based on Weighted-Sum Rule, Sum-Rule, Product-Rule along with Tanh and Min-Max normalization in matching score level fusion. Additionally, FaceFeature Vector Fusion (Face-FVF) or Iris-Feature Vector Fusion (Iris-FVF) with and without PSO feature selection method are used in feature level fusion. Moreover, Majority voting is employed in decision level fusion. The datasets to perform the experiments are selected from ORL, FERET, BANCA, CASIA, UBIRIS and CASIA-Iris-Distance databases. In addition, combination of different databases is used to have different conditions in terms of illumination and pose. Keywords: multimodal biometrics, face recognition, iris recognition, feature extraction, information fusion, Particle Swarm Optimization, match score level fusion, feature level fusion, decision level fusion.

Öz: Bu tezde, özellikle skor düzeyi ve öznitelik düzeyi olmak üzere değişik kaynaşım teknikleri kullanılarak birden fazla biyometriğin birleştirilmesine odaklanılmıştır. Genel olarak birden fazla biyometriğe dayalı sistemler, bir insanın fiziksel veya davranış özelliklerini kullanarak, insan tanıma performansını artırmayı amaçlar. Aslında birden fazla biyometriği birleştirirken, her bir biyometriğin güçlü yönleri birleştirilerek daha iyi tanıma performansı elde etmeye çalışılır. Bu tez, skor düzeyi kaynaşım, öznitelik düzeyi kaynaşım, karar düzeyi kaynaşım ve skor ve öznitelik düzeyi kaynaşım teknikleri gibi değişik kaynaşım tekniklerinin kombinasyonunu önererek tanıma performansını geliştirir. Güçlü bir tanıma sistemi elde etmek için önerilen dört değişik yöntemde; yüz ve iris biyometrikleri, birçok öznitelik çıkartıcı yöntem, skor normalizasyonu ve kaynaşım teknikleri kullanılmıştır. Bütünsel ve yerel öznitelik çıkarıcı yöntemler, yüz ve iris özniteliklerini ayrı ayrı tek bir sistem olarak çıkarmak için kullanılmış ve daha sonra bu sistemler değişik yüz ve iris veritabanı altkümeleri kullanılarak birleştirilmiştir. Alt-Örüntüye Dayalı PCA (spPCA), modüler PCA (mPCA) ve Yerel İkili Örüntü (LBP) metotları yerel öznitelik çıkarıcılar olarak kullanılmıştır. Bu yerel yöntemlerin yanında, yüz ve iris resimleri üzerinde ayrı ayrı bütünsel öznitelik çıkarıcı yöntemlerin performansını karşılaştırmak için bütünsel Ana Bileşenler Analizi (PCA) ve alt-uzay Doğrusal Ayırtaç Analizi (LDA) yöntemleri kullanılmıştır. Öte yandan, iris özniteliklerini çıkarmak için bazı yöntemlerde iris resimleri üzerinde Libor Masek iris tanıma sistemi kullanılmıştır. Önerilen bazı yöntemlerde, tekli ve çoklu sistemlerin performansını artırmak için, Parçacık Sürü Optimizasyonu (PSO) uygulanmıştır. PSO yöntemi, öznitelik düzeyi kaynaşımı uygulanırken öznitelik vektörlerinin boyutunu azaltmak ve dolayısıyla tanıma performansını artırmak için kullanılmıştır. Farklı yöntemlerin performansı birçok veritabanı üzerinde tanıma performansı ve Alıcı İşletim Karakteristik (ROC) analizi kullanılarak gösterilmiştir. Bu yöntemler Ağırlıklı-Toplam Kuralı, Toplam Kuralı, Çarpan Kuralı, Tanh ve Enaz-Ençok normalizasyonudur ve eşleşen skor düzeyi kaynaşım yöntemiyle kullanılmışlardır. Ek olarak, Yüz-Öznitelik Vektör birleştirmesi (Yüz-FVF) veya İris-Öznitelik-Vektör birleştirmesi (İris FVF), PSO öznitelik seçme yöntemiyle birlikte veya ayrı olarak öznitelik düzeyi kaynaşımda kullanılmıştır. Ayrıca, karar düzeyi kaynaşım yöntemi olarak Majority Voting yöntemi denenmiştir. Deneyler, ORL, FERET, BANCA, CASIA, UBIRIS ve CASIA-Iris-Distance veritabanları üzerinde yapılmıştır. Farklı veritabanları da birleştirilerek, farklı ışıklandırma ve poz değişimleri içeren ve yeterli sayıdaki bireylerin değişik resimlerini barındıran veritabanları elde edilmiştir. Anahtar Kelimeler: Çoklu biyometrik, yüz tanıma, iris tanıma, öznitelik çıkarma, bilgi kaynaşımı, Parçacık Sürü Optimizasyonu, eşleşen skor düzeyi kaynaşım, öznitelik düzeyi kaynaşım, karar düzeyi kaynaşım.