Person-Dependent and Person-Independent Analysis of Emotion Recognition using Facial Expressions

Abstract

Facial emotion recognition is one of the prospective fields which can have various applications in many different areas. However, there is a huge difference between a personalized and non-personalized emotion recognition. In facial expression analysis, learning process starts with person’s facial structure. A person-dependent system will receive person specific features during training which is advantageous compared to a person-independent system. Hence, with the addition of ethnicity, cultural background or gender differences, gathering results on non-personalized system of emotion recognition becomes a challenge. In this thesis, models for person-dependent and person-independent emotion recognition are proposed. Experiments are carried out using SAVEE and RML facial video databases. Initially, frames and corresponding landmark features are extracted from the videos. K-means clustering algorithm is applied to the extracted landmark features in order to get the k most significant frames. After representing each video sequence with k keyframes, Support Vector Machine classifier is used for the training and testing of the proposed system. Experimental results show that recognition performance of person-dependent model is higher than person-independent model. Keywords: Machine Learning; Image Analysis; Emotion Recognition; Facial Emotion Recognition; Support Vector Machine

ÖZ: Yüz duygularının tanınması, birçok farklı alanda çeşitli uygulamaları olan potansiyel alanlardan biridir. Bununla birlikte, kişiye bağımlı ve kişiden bağımsız duygu tanıma arasında büyük bir fark vardır. Yüz ifadesi analizinde, öğrenme süreci kişinin yüz yapısı ile başlar. Bireye bağımlı bir sistem, bireyden bağımsız bir sisteme kıyasla bireysel özellikleri eğitim aşamasında tanıyacabileceğinden dolayı daha avantajlı konumdadır. Bu nedenle, etnik köken, kültürel geçmiş veya cinsiyet farklılıklarının eklenmesiyle, kişiselleştirilmemiş duygu tanıma sistemi üzerinde sonuçların toplanması zorlaşır. Bu araştırmada, kişiye bağımlı ve kişiden bağımsız duygu tanıma modelleri önerilmiştir. Deneyler, SAVEE ve RML yüze ait video veritabanları kullanılarak gerçekleştirilmiştir. İlk olarak, görüntüler ve görüntülerdeki yüzlere karşılık gelen dönüm noktası özellikleri videolardan çıkarılmıştır. K-en önemli kareleri elde etmek için çıkarılan özelliklere K-means kümeleme algoritması uygulanmıştır. Her video dizisini k anahtar kareleriyle temsil ettikten sonra, önerilen sistemin eğitimi ve test edilmesi için Destek Vektör Makinesi sınıflandırıcısı kullanılmıştır. Deneysel sonuçlar, kişiye bağlı modelin tanınma performansının, kişiden bağımsız modelden daha yüksek olduğunu göstermektedir. Anahtar Kelimeler: Makine Öğrenme; Görüntü Analizi; Duygu Tanıma; Yüz Duygusu Tanıma; Destek Vektör Makinası