3D Face Recognition using Hyperspectral Images

Abstract

Face is one of the most common biometric modalities which is used for identification. In this context, face recognition has gained an important role in biometric applications based on identification systems during the last few decades. Since there is no physical interaction required during recognition or identification, it's easy to deploy and implement. In face recognition, a face is categorized as known or unknown by comparing a face with all the faces in a database. Due to inherent distinct features, human face analysis is one of the most effective methods of identifying individuals. Nowadays, utilizing hyperspectral images in face recognition is one of the most important research topics in biometrics, since they contain additional significant spectral information compared to 2D images which have only information in spatial dimensions (texture and structure). A hyperspectral image is a data cube containing two spatial and one spectral dimension. Hyperspectral image samples are captured by a hyperspectral camera which operates at multiple narrow bands within the visible spectrum and neighboring near-infrared spectra. Hyperspectral imaging provides new prospects for improving face recognition accuracy since they contain information in both space and spectral axes. Hence significant information for each person regarding the skin based on reflected, absorbed and released electromagnetic energy at different wavelengths can be extracted. Additional spectral information which is not embedded in traditional grey/color facial images provides an opportunity to improve the recognition accuracy. Hyperspectral imaging employs spatial and spectral relationship simultaneously, which improves segmentation and classification in the respective applications. Difficulties encountered in visible light-based face recognition systems, such as the variance in orientation, illumination or expressions can be minimized by employing hyperspectral imaging. Besides these opportunities, hyperspectral images pose some challenges such as low signal to noise ratios, high dimensionality, and data acquisition needs expensive cameras with multiple sampling in visible and nearinfrared spectra. Despite mentioned challenges, hyperspectral images contain more independent and significant information obtained from different sub-bands than 2D images. Hence, hyperspectral images represented in 3D-cubes are by far more capable in classification processes, which is also ideal for spoofing attacks. In this thesis, we propose novel methods for feature extraction for facial hyperspectral image recognition. The main goal of the thesis is to improve the recognition accuracy of hyperspectral face images. In the first method, three different approaches are proposed employing 3D discrete wavelet transform (3D-DWT) to extract features from the subbands generated by discrete wavelet decomposition. Three approaches include 3D-subband energy (3D-SE), 3D-subband overlapping cube (3D-SOC) and 3D-global energy (3D-GE), which extract different feature vector for each approach containing the energy values calculated from different wavelet sub-bands at different levels of decomposition. Feature vectors generated by three different approaches go through a classifier to complete the face recognition task. In the second proposed method, fusion of spectral information into a single 2D image is achieved by band-specific signal to noise ratio (SNR) based weighting. The fusion method assigns weights based on the calculated band-specific SNR values, weighted sum of the bands generate a single 2D face image. Hence, each pixel along spectral axis is fused to a single pixel resulting a 2D output face image for each 3D hyperspectral face cube. In the third method, in order to fuse spectral bands in hyperspectral face cubes, we apply discrete wavelet transform (DWT) to each pixel along the spectral axis consecutively until the spectral vector for each pixel is decimated to a single pixel transforming the 3D input spectral face image cube into a 2D output image. 2D output images obtained by the second and third methods are processed using principal component analysis method and face recognition is performed with the help of a classifier. The experimental results reveal that recognition accuracy of all proposed methods by using standard hyperspectral databases outperform alternative hyperspectral face recognition of the state-of-the-art methods. Keywords: hyperspectral face image, face recognition, discrete wavelet transform, feature extraction, classification, signal to noise ratio.

ÖZ: Yüz, kimlik tanıma için kullanılan en yaygın biyometrik yöntemlerden biridir. Bu bağlamda, yüz tanıma, son birkaç on yılda kimlik tanıma sistemlerine dayanan biyometrik uygulamalarda önemli bir rol oynamıştır. Yüz tanıma, kimlik tanımlama sırasında fiziksel bir etkileşim gerekmediğinden, dağıtımı ve uygulaması kolaydır. Yüz tanımada, bir yüz, veritabanındaki tüm yüzlerle karşılaştırılarak bilinen veya bilinmeyen olarak kategorize edilir. Doğasında farklı özellikler nedeniyle, insan yüzü analizi bireyleri tanımlamanın en etkili yöntemlerinden biridir. Günümüzde, yüz tanımada hiperspektral görüntülerin kullanılması, sadece mekansal boyutlarda (doku ve yapı) bilgi içeren 2D görüntülere kıyasla ek önemli spektral bilgi içerdiğinden, biyometride en önemli araştırma konularından biridir. Hiperspektral görüntü, iki uzamsal ve bir spektral boyut içeren bir veri küpüdür. Hiperspektral görüntü örnekleri, görünür spektrumda ve komşu kızılötesine yakın spektrumlarda birden çok dar bantta çalışan bir hiperspektral kamera tarafından yakalanır. Hiperspektral görüntüleme, hem boşlukta hem de spektral eksenlerde bilgi içerdiğinden yüz tanıma doğruluğunu iyileştirmek için yeni beklentiler sağlar. Bu nedenle, her insan için farklı dalga boylarında yansıtılan, emilen ve salınan elektromanyetik enerjiye dayanan cilt hakkında önemli bilgiler elde edilebilir. Geleneksel gri / renkli yüz görüntülerine gömülmeyen ek spektral bilgiler, tanıma doğruluğunu artırma fırsatı sunar. Hiperspektral görüntüleme aynı anda mekansal ve spektral ilişkiyi kullanır, bu da ilgili uygulamalarda segmentasyonu ve sınıflandırmayı geliştirir. Yönlendirme, aydınlatma veya ifadelerdeki varyans gibi görünür ışık tabanlı yüz tanıma sistemlerinde karşılaşılan zorluklar, hiperspektral görüntüleme kullanılarak en aza indirilebilir. Bu fırsatların yanı sıra, hiperspektral görüntüler düşük sinyal-gürültü oranları, yüksek boyutluluk ve veri toplama gibi bazı zorluklar ortaya çıkarır ve görünür ve kızılötesine yakın spektrumlarda çoklu örnekleme ile pahalı kameralar gerektirir. Bahsedilen zorluklara rağmen, hiperspektral görüntüler 2D görüntülerden farklı alt bantlardan elde edilen daha bağımsız ve anlamlı bilgiler içerir. Bu nedenle, 3D küplerde temsil edilen hiperspektral görüntüler, kimlik sahtekarlığı saldırıları için de ideal olan sınıflandırma işlemlerinde çok daha yeteneklidir. Bu tezde, yüz hiperspektral görüntü tanıma için öznitelik çıkarımı için yeni yöntemler öneriyoruz. Tezin temel amacı, hiperspektral yüz görüntülerinin tanınma doğruluğunu arttırmaktır. İlk yöntemde, ayrık dalgacık ayrışımı ile oluşturulan alt bantlardan öznitelikler elde etmek için 3B ayrık dalgacık dönüşümü (3D-DWT) kullanılarak üç farklı yaklaşım önerilmektedir. Önerilen üç yaklaşım, 3B alt bant enerjisi (3D-SE), 3B alt bant örtüşen küp (3D-SOC) ve 3B küresel enerji (3D-GE) olup, farklı dalgacık alt bantlarından hesaplanan enerji değerlerini içeren her yaklaşım için farklı öznitelik vektörü çıkarılır. Üç farklı öznitelik vector sınıflandırıcıdan geçirilerek yüz tanıma işlemi tamamlanmaktadır. Önerilen ikinci yöntemde, spektral bilginin tek bir 2B görüntüye füzyonu, banda özgü sinyal/gürültü oranı (SNR) tabanlı ağırlıklandırma ile elde edilir. Füzyon yöntemi, hesaplanan banda özgü SNR değerlerine dayalı olarak ağırlıklar atanarak, bantların ağırlıklı toplamı tek bir 2B yüz görüntüsü oluşturulur. Üçüncü yöntemde, hiperspektral yüz küplerindeki spektral bantları birleştirmek için, her piksel için spektral vektör 3B giriş spektralini tek bir piksele dönüştürülene kadar spektral eksen boyunca her piksele ayrı dalgacık dönüşümü (DWT) uygulayarak, yüz küpü bir 2B çıktı görüntüsüne dönüştürülür. İkinci ve üçüncü yöntemlerle elde edilen 2B çıktı görüntüleri Ana bileşenler analizi yöntemi ile dönüştürülerek bir sınıflandırıcı yardımı ile yüz tanıma işlemi gerçekleştirilmektedir. Deneysel sonuçlar, standart hiperspektral veri tabanları kullanılarak önerilen tüm yöntemlerin doğruluğunun, modern yöntemlerin alternatif hiperspektral yüz tanıma işleminden daha iyi performans gösterdiğini ortaya koymaktadır. Anahtar Kelimeler: hiperspektral yüz görüntüsü, yüz tanıma, ayrık dalgacık dönüşümü, özellik çıkarımı, sınıflandırma, sinyal-gürültü oranı.