This thesis focuses on fusion of multiple biometric systems in different fusion levels
especially score level fusion and feature level fusion. Generally, multimodal
biometrics based systems aim to improve the recognition accuracy using more than
one physical and/or behavioral characteristics of a person. In fact, fusion of multiple
biometrics combines the strengths of unimodal biometrics to achieve improved
recognition accuracy. This thesis improves the recognition accuracy by proposing
different schemes in score level fusion, feature level fusion, decision level fusion and
combination of different fusion levels such as score and feature level fusions.
Face and iris biometrics are used to obtain a robust recognition system by using
several feature extractors, score normalization and fusion techniques in four different
proposed schemes. Global and local feature extractors are used to extract face and
iris features separately as unimodal system and then the fusion of these modalities is
performed on different subsets of face and iris image databases. Subpattern-based
PCA (spPCA), modular PCA (mPCA) and Local Binary Patterns (LBP) methods are
used as local feature extractors. Beside these local methods, global feature extractors
such as Principal Component Analysis (PCA) and subspace Linear Discriminant
Analysis (LDA) are also used to compare the performance of global feature
extractors on face and iris images separately. On the other hand, Libor Masek’s iris
recognition system is employed on iris images in some schemes to extract iris
features. In order to enhance the recognition accuracy of unimodal and multimodal
systems in some proposed schemes, Particle Swarm Optimization (PSO) is also
implemented as feature selection procedure in reducing the dimension of feature
vectors and subsequently improving the recognition performance. The performance of different schemes is validated on several datasets using
recognition accuracy and Receiver Operator Characteristics (ROC) analysis. These
schemes are based on Weighted-Sum Rule, Sum-Rule, Product-Rule along with
Tanh and Min-Max normalization in matching score level fusion. Additionally, FaceFeature
Vector Fusion (Face-FVF) or Iris-Feature Vector Fusion (Iris-FVF) with and
without PSO feature selection method are used in feature level fusion. Moreover,
Majority voting is employed in decision level fusion. The datasets to perform the
experiments are selected from ORL, FERET, BANCA, CASIA, UBIRIS and
CASIA-Iris-Distance databases. In addition, combination of different databases is
used to have different conditions in terms of illumination and pose.
Keywords: multimodal biometrics, face recognition, iris recognition, feature
extraction, information fusion, Particle Swarm Optimization, match score level
fusion, feature level fusion, decision level fusion.
Öz: Bu tezde, özellikle skor düzeyi ve öznitelik düzeyi olmak üzere değişik kaynaşım
teknikleri kullanılarak birden fazla biyometriğin birleştirilmesine odaklanılmıştır.
Genel olarak birden fazla biyometriğe dayalı sistemler, bir insanın fiziksel veya
davranış özelliklerini kullanarak, insan tanıma performansını artırmayı amaçlar.
Aslında birden fazla biyometriği birleştirirken, her bir biyometriğin güçlü yönleri
birleştirilerek daha iyi tanıma performansı elde etmeye çalışılır. Bu tez, skor düzeyi
kaynaşım, öznitelik düzeyi kaynaşım, karar düzeyi kaynaşım ve skor ve öznitelik
düzeyi kaynaşım teknikleri gibi değişik kaynaşım tekniklerinin kombinasyonunu
önererek tanıma performansını geliştirir.
Güçlü bir tanıma sistemi elde etmek için önerilen dört değişik yöntemde; yüz ve
iris biyometrikleri, birçok öznitelik çıkartıcı yöntem, skor normalizasyonu ve
kaynaşım teknikleri kullanılmıştır. Bütünsel ve yerel öznitelik çıkarıcı yöntemler,
yüz ve iris özniteliklerini ayrı ayrı tek bir sistem olarak çıkarmak için kullanılmış ve
daha sonra bu sistemler değişik yüz ve iris veritabanı altkümeleri kullanılarak
birleştirilmiştir. Alt-Örüntüye Dayalı PCA (spPCA), modüler PCA (mPCA) ve Yerel
İkili Örüntü (LBP) metotları yerel öznitelik çıkarıcılar olarak kullanılmıştır. Bu yerel
yöntemlerin yanında, yüz ve iris resimleri üzerinde ayrı ayrı bütünsel öznitelik
çıkarıcı yöntemlerin performansını karşılaştırmak için bütünsel Ana Bileşenler
Analizi (PCA) ve alt-uzay Doğrusal Ayırtaç Analizi (LDA) yöntemleri
kullanılmıştır. Öte yandan, iris özniteliklerini çıkarmak için bazı yöntemlerde iris
resimleri üzerinde Libor Masek iris tanıma sistemi kullanılmıştır. Önerilen bazı
yöntemlerde, tekli ve çoklu sistemlerin performansını artırmak için, Parçacık Sürü
Optimizasyonu (PSO) uygulanmıştır. PSO yöntemi, öznitelik düzeyi kaynaşımı uygulanırken öznitelik vektörlerinin boyutunu azaltmak ve dolayısıyla tanıma
performansını artırmak için kullanılmıştır.
Farklı yöntemlerin performansı birçok veritabanı üzerinde tanıma performansı ve
Alıcı İşletim Karakteristik (ROC) analizi kullanılarak gösterilmiştir. Bu yöntemler
Ağırlıklı-Toplam Kuralı, Toplam Kuralı, Çarpan Kuralı, Tanh ve Enaz-Ençok
normalizasyonudur ve eşleşen skor düzeyi kaynaşım yöntemiyle kullanılmışlardır.
Ek olarak, Yüz-Öznitelik Vektör birleştirmesi (Yüz-FVF) veya İris-Öznitelik-Vektör
birleştirmesi (İris FVF), PSO öznitelik seçme yöntemiyle birlikte veya ayrı olarak
öznitelik düzeyi kaynaşımda kullanılmıştır. Ayrıca, karar düzeyi kaynaşım yöntemi
olarak Majority Voting yöntemi denenmiştir. Deneyler, ORL, FERET, BANCA,
CASIA, UBIRIS ve CASIA-Iris-Distance veritabanları üzerinde yapılmıştır. Farklı
veritabanları da birleştirilerek, farklı ışıklandırma ve poz değişimleri içeren ve yeterli
sayıdaki bireylerin değişik resimlerini barındıran veritabanları elde edilmiştir.
Anahtar Kelimeler: Çoklu biyometrik, yüz tanıma, iris tanıma, öznitelik çıkarma,
bilgi kaynaşımı, Parçacık Sürü Optimizasyonu, eşleşen skor düzeyi kaynaşım,
öznitelik düzeyi kaynaşım, karar düzeyi kaynaşım.
