Fusion of Hand-crafted Descriptors with CNN-based Features for Facial Age Estimation

Abstract

Age estimation from facial images is an important application of biometrics. In contrast to other facial variations like occlusions, illumination, misalignment and facial expressions, ageing variation is affected by human genes, environment, lifestyle and health which make age estimation a challenging task. In this thesis, we propose three new age estimation systems for automatic facial age estimation. These systems utilize different type of feature descriptors, varying from hand-crafted ones to automatically learned features and combine them in different level of information fusion. In the first proposed system, an integration of different feature extraction algorithms is utilized. This integration is performed by using two-level fusion of features and scores with the help of feature-level and score-level fusion techniques. In our proposed method, the advantage of using different types of features such as biologically-inspired features, texture-based features and appearance-based features is used. Feature-level fusion of biologically-inspired and texture-based methods is integrated into the proposed method and their combination is fused with an appearance-based method using score-level fusion. The second proposed system exploits multi-stage features from a trained Convolutional Neural Network (CNN), and precisely combines these features with a selection of age-related hand-crafted features. This method utilizes a decision-level fusion of estimated ages by two different approaches; the first one uses feature-level fusion of different hand-crafted local feature descriptors for wrinkle, skin and facial iv component while the second one uses score-level fusion of different feature layers of a CNN for age estimation. In the third system, we propose a new architecture of deep neural networks namely Directed Acyclic Graph Convolutional Neural Networks (DAG-CNNs) for age estimation which automatically combine multi-stage features from different layers of a CNN. This system is constructed by adding multi-scale output connections to an underlying backbone from two well-known deep learning architectures, namely VGG-16 and GoogLeNet. DAG-CNNs not only fuse the feature extraction and classification stages of the age estimation into a single automated learning procedure, but also utilize multi-scale features and perform score-level fusion of multiple classifiers automatically. Experiments on the publicly available Morph-II and FG-NET databases prove the effectiveness of our novel method.

ÖZ: Yüz görüntülerinden yaş tahmini yapılması biyometri alanında önemli bir uygulamadır. Yüzün belli bir bölümünün kapatılması, ışıklandırma değişiklikleri, yanlış ayarlama ve yüz ifadesi değişikliklerine nazaran yaşlanma etkileri yüz görüntülerini farklı sebeplerden dolayı etkiler. İnsan genleri, çevre, yaşam kalitesi ve sağlık koşullarından dolayı etkilenen yüz görüntülerinden yaş tahmini yapılması zor bir işlemdir. Bu tezde, yüz görüntülerinden otomatik olarak yaş tahmini yapan üç yeni sistem önerilmiştir. Bu sistemler, el yapımı ve otomatik olarak öğrenilen değişik özniteliklerden yararlanıp, farklı bilgi kaynaşımı yöntemleriyle öznitelikleri birleştirir. İlk önerilen yöntemde, farklı öznitelik çıkarıcı algoritmaların entegrasyonundan yararlanılmıştır. Bu entegrasyon, öznitelik-seviyesi ve skor-seviyesi kaynaşımları kullanan iki seviyeli kaynaşım tekniğiyle yapılmıştır. Önerilen yöntemde, biyolojik, dokusal ve görünüme dayalı değişik özniteliklerin avantajı kullanılmıştır. Biyolojik ve dokusal yöntemlerin öznitelik-seviyesi kaynaşımı ve bunların görünüme dayalı bir yöntemle skor-seviyesi kaynaşımı kullanarak sisteme entegre edilmesi sağlanmıştır. İkinci önerilen yöntem, eğitilmiş evrişimli sinir ağı (CNN) yöntemiyle elde edilen çok aşamalı öznitelikleri kullanıp, bunlarla birlikte seçilen el yapımı öznitelikleri birleştirir. Bu yöntem, iki farklı yaklaşımla tahmin edilen yaşları karar-seviyesi kaynaşımı kullanarak birleştirir. İlk yaklaşım, kırışıklık, cilt ve yüz bileşenleri için farklı el yapımı yerel öznitelik tanımlayıcılarını öznitelik-seviyesi kaynaşımı ile vi birleştirir. İkinci yaklaşımda ise farklı CNN öznitelik seviyelerini skor-seviyesi kaynaşımı ile birleştirir. Üçüncü önerilen sistemde ise yaş tahmini için farklı CNN seviyelerinden elde edilen çok aşamalı öznitelikleri otomatik olarak birleştiren yönlendirilmiş çevrimsiz çizge evrişimli sinir ağı (DAG-CNN) olarak isimlendirilen yeni bir derin sinir ağları yapısı kullanılmıştır. Bu sistem, VGG-16 ve GoogleNet isimli iki tane iyi bilinen derin öğrenme yapısı omurgasına çok aşamalı çıktı bağlantıları eklemekle kurulmuştur. DAG-CNN yapıları, yaş tahmini sisteminin öznitelik çıkartma ve sınıflandırma aşamalarını tek bir otomatik öğrenme işlemine dönüştürürken, aynı zamanda da çok aşamalı özniteliklerden yararlanıp çoklu sınıflandırıcıları otomatik olarak skor-seviyesi kaynaşımı ile birleştirir. Morph-II ve FG-NET veritabanları üzerinde yapılan deneyler, yeni yöntemin etkisini ispatlamıştır.