Entropy Based Feature Selection for 3D Facial Espression Recognition

Abstract

ABSTRACT: Human face is the most informative part of the human body that carries information about the feelings of the human. Recent improvements in computer graphics and image processing fields of computer science make facial analysis and synthesis algorithms applicable with the current digital Central Processing Units (CPUs). The information embedded to the human face can be analyzed with facial movements and mimics. The extracted parameterized data can be used in defining the facial expressions. Improvements in Human-Computer Interaction (HCI) systems have placed face processing research studies into a crucial stage in order to develop algorithms and applications. Therefore, facial expression recognition is an essential part of face processing algorithms. The thesis presents novel entropy based feature selection procedures for person independent 3D facial expression recognition. The coarse-to-fine classification model and the expression distinctive classification model which are both based on Support Vector Machine (SVM) are used for the proposed feature selection procedures. Information content of the facial features is analyzed in order to select the most discriminative features which maximize expression recognition performance. Entropy and variance have been employed as information content metrics. The input features are 3D facial feature points provided in MPEG-4 standard. A face is represented with 3D positions of geometric facial feature points. The feature selection algorithm selects the best feature points using novel entropy based method and represents the face with the selected points. Selections are done depending on Fisher’s criterion. High entropy facial feature points maximizing Fisher’s criterion are selected. The main contributions of the thesis are entropy based feature selections based on two different classifier models. The first one is a two-level coarse-to-fine classifier model and the second one is expression distinctive classifier model. For each model, entropy based feature selection is applied. Feature selection in two-level classifier model is accomplished in two levels. First, the best features are selected that classify the unknown input face into the one of the big expression classes, which are Class 1 and Class 2. Class 1 includes anger, disgust and fear expressions, where Class 2 includes happiness, sadness and surprise expressions. In the second level, the best features for each class are selected that classifies an expression into one of the three expressions presented in the selected class. As a result, three different feature models are proposed for the two-level coarse-to-fine classifier model. One feature model in order to classify into Class 1 and Class 2, and the two other feature models for each class’s inner class classification processes. The second classifier model is the expression distinctive model in which entropy based feature selection method is applied to each expression specifically. Thus, the feature selection algorithm proposes six different feature models that maximize Fisher’s criterion for each expression. The proposed algorithms are tested in BU-3DFE and Bosphorus databases and the experimental results provide significant improvements on recognition rates. Proposed methods achieve comparable recognition rates for all of the six basic expressions which overcome the problem of having very high recognition rates for some of the expressions and unacceptable rates for some others, resulting in good average rates. Keywords: Facial expression recognition, feature selection, face biometrics, entropy, information content. …………………………………………………………………………………………………………………………

ÖZ: İnsan yüzü, insan bedeninde kişinin duygu durumu hakkında bilgi taşıyan en önemli kısımdır. İçinde bulunduğumuz dönemdeki bilgisayar bilimi araştırmalarının sunduğu yenilikler ve hatırı sayılır gelişme gösteren bilgisayar grafikleri ile imge işleme algoritmaları, günümüz sayısal işlemcilerinin insan yüzünü işleyebilmelerine olanak tanımaktadırlar. Parametrelendirilmiş yüz hareketleri, yüz ifadelerinin analizi ve tanınması için kullanılabilmektedir. Temelinde İnsan Makine Etkileşimi (İME) olan uygulamaların gelişimi, insan yüzünün sayısal işlemciler tarafından işlenmesi gereksinimini çok kritik bir safhaya taşımıştır. İnsan yüzünde gömülü olan bilginin çıkarımı yüzdeki hareketlerin ve mimiklerin tespiti ile mümkündür. Bu nedenle, yüz ifadeleri analizi, yüz işlemeyi kullanan algoritmalar için vazgeçilmez bir kısım konumundadır. Tezde, kişiden bağımsız yüz ifadeleri tanınmasına yönelik öznitelik seçimi için geliştirilen özgün yöntemler sunulmaktadır. Destek Vektör Makinesi (DVM) tabanlı iki farklı sınıflandırma modeli sunulmuştur. Bunlar kabadan inceye doğru sınıflandırıcı ve yüz ifadesine özel sınıflandırıcı modelleri olarak ikiye ayrılır. Yüz özniteliklerinin seçimi için önerilen yöntem her iki modele de uygulanmıştır. En ayrıştırıcı özniteliklerin seçimi için yüz ifadelerinin oluşumu esnasında öznitelikerin bilgi içeriği incelenmiştir. Bilgi içeriğinin ölçümünde entropi ve varyans ölçüm metrikleri olarak kullanılmıştır. Yüz ifadelerinin oluşumu esnasında en çok bilgiyi taşıyan ve tanınma başarısını geliştiren yüz öznitelikleri seçilmektedir. Sistemin girdi öznitelikleri MPEG-4 standardında tanımlanan yüz öznitelik noktalarıdır. Yüz, bu geometrik noktaların 3 boyutlu konum bilgisinden temsil vi edilmektedir. Özgün öznitelik seçim yöntemi, söz konusu öznitelik noktalarından entropiye göre seçim yapmakta ve seçilen özniteliklerle yüzü temsil etmektedir. Öznitelik seçimleri Fisher kriteri göz önünde bulundurularak yapılmıştır. Fisher kriterinin en büyük olduğu yüksek entropiye sahip noktalar seçilmektedir. Tezin iki ana katkısı öznitelik seçimlerinin iki farklı sınıflandırma modeline yönelik yapılması ve sonucunda farklı öznitelik modellerinin önerilmesidir. Birinci model iki seviyeli kabadan inceye doğru sınıflandırma modeli, ikinci model ise yüz ifadesine özel sınıflandırıcı modelidir. Öznitelik seçim yöntemi her iki modele farklı şekilde uygulanmıştır. İki seviyeli modelde öznitelik seçimi önce birinci seviye olan ve bilinmeyen yüz vektörünün iki büyük sınıfa ayrıldığı seviyede yapılmıştır. Bunlar Sınıf 1 ve Sınıf 2 olarak isimlendirildiğinde, Sınıf 1 içerisinde öfke, ,iğrenti ve korku ifadeleri, Sınıf 2 içerisinde ise mutluluk, üzüntü ve sürpriz ifadeleri bulunmaktadır. İkinci seviye için ise mevcut üç ifade arasında en ayrıştırıcı öznitelikleri bulmak için öznitelik seçimi yapılmıştır. Bu seviyede seçilen öznitelikler her bir sınıfın sınıf içi sınıflandırma başarısını artıracak şekilde yapılmıştır. Buna göre ilk seviye için bir ve ikinci seviyedeki herbir sınıf için öznitelik seçimi yapılmış, toplamda üç farklı öznitelik modeli önerilmiştir. Yüz ifadesine özel sınıflandırıcı modelinde ise entropiye dayalı öznitelik seçimi her bir temel yüz ifadesi için ayrı ayrı yapılmış ve sonuç olarak bu model için Fisher kriterinin en büyük olduğu altı farklı öznitelik modeli önerilmiştir. Önerilen yöntemler BU-3DFE ve Bosphorus veritabanları üzerinde test edilmiş ve ümit verici sonuçlar elde edilmiştir. Önerilen yöntemlerde tüm temel yüz ifadelerinin yakın ve yüksek oranlarda tanınma başarısı gösterdiği gözlemlenmiştir. Mevcut bazı sistemlerde görülen bir problem olan belli yüz ifadelerinin çok yüksek, diğer yüz ifadelerinin ise başarıyla tanınması fakat ortalama tanınma başarısının yüksek olması, vii önerilen metodlarda tüm yüz ifadelerinde yakın tanınma oranları elde edilerek aşılmıştır. Anahtar Kelimeler: Yüz ifadeleri tanıması, öznitelik seçimi, entropi, yüz biyometrisi, bilgi içeriği.