Facial Expression Recognition using Convolutional Neural Networks

Abstract

The ability to recognize facial expressions is extremely useful in a variety of fields, such as interaction between humans and computers, computational neuroscience, and robotics for social purposes. It is possible to enable a broad variety of applications by having the ability to reliably categorize and interpret facial expressions from photos or videos. Some examples of these applications are cognizant systems and smart user interfaces for computers. The purpose of this thesis is to study and create a model with enhanced efficiency and accuracy in recognizing facial expressions using Convolutional Neural Networks (CNNs). Firstly, a comprehensive literature review will be done in order to analyze the cutting-edge CNN-based models and approaches that are currently being used for facial expression recognition identifying important hurdles, recent accomplishments, and possible chances for improvement in this field. This lays a sturdy groundwork for the future construction of the experimental model. The methodology for this study comprises a 10-layer CNN model incorporated with a set of FER2013 data which includes 7 classes of emotions. The dataset would be preprocessed and enhanced using data augmentation before using 5 K-fold cross validation to fit the data to the model. The trained model will be evaluated utilizing a wide variety of performance metrics, among which are accuracy, precision, recall, and F1-score. The effect of many parameters on recognition performance is explored in this thesis. These aspects include dataset size, model architecture, and hyperparameter tweaking. The outcomes of the experiments are meticulously analyzed, and evaluated in light of the most recent developments in the field as well as any relevant benchmarks. The findings contribute to a deeper knowledge of the possibilities as well as the limitations that are present in facial expression recognition using CNNs.

ÖZ: Yüz ifadelerini tanıma yeteneği, insanlar ve bilgisayarlar arasındaki etkileşim, hesaplamalı sinirbilim ve sosyal amaçlar için robotik gibi çeşitli alanlarda son derece yararlıdır. Fotoğraflardan veya videolardan yüz ifadelerini güvenilir bir şekilde kategorize etme ve yorumlama becerisine sahip olarak çok çeşitli uygulamalara olanak sağlamak mümkündür. Bilişsel sistemler ve bilgisayarlar için akıllı kullanıcı arayüzleri bu uygulamalara örnek olarak verilebilir. Bu tezin amacı, Konvolüsyonel Sinir Ağları (CNN'ler) kullanarak yüz ifadelerini tanımada etkinliği ve doğruluğu artırılmış bir modeli incelemek ve oluşturmaktır. İlk olarak, yüz ifadesi tanıma için şu anda kullanılmakta olan CNN tabanlı en yeni modelleri ve yaklaşımları analiz etmek için kapsamlı bir literatür taraması yapılacak ve bu alanda önemli engelleri, son başarıları ve olası iyileştirme şanslarını belirleyeceğiz. Bu, deneysel modelin gelecekteki inşası için sağlam bir temel oluşturur. Bu çalışmanın metodolojisi, 7 duygu sınıfı içeren bir dizi FER2013 verisiyle birleştirilmiş 10 katmanlı bir CNN modelini içermektedir. Veri kümesi, verileri modele uydurmak için 5 K-katlı çapraz doğrulama kullanılmadan önce veri artırma kullanılarak önceden işlenir ve geliştirilir. Eğitilen model, doğruluk, kesinlik, geri çağırma ve F1 puanı gibi çok çeşitli performans ölçütleri kullanılarak değerlendirilecektir. Bu tezde birçok parametrenin tanıma performansı üzerindeki etkisi araştırılmıştır. Bu yönler, veri kümesi boyutunu, model mimarisini ve hiperparametre ince ayarını içerir. Deneylerin sonuçları titizlikle analiz edilir ve alandaki en son gelişmelerin yanı sıra ilgili kıstaslar ışığında değerlendirilir. Bulgular, CNN'leri kullanarak yüz ifadesi tanımada mevcut olan sınırlamaların yanı sıra olasılıklar hakkında daha derin bir bilgiye katkıda bulunur.