Comparison of Feature Based Fingerspelling Recognition Algorithms

Abstract

ABSTRACT : Sign language is a manual language which uses hand gestures instead of sounds. These gestures are produced by combining hand-shapes, orientation and movement of hands. Sign language is not international and it has been defined with the intension of communicating with deaf people. In sign language, two major types of communication are considered. The first one is based on word sign vocabulary, where common words are defined by body language. The second, which is also known as fingerspelling is a letter based vocabulary which uses the letters in a particular alphabet and involves the use of hands only. The manual alphabets created for fingerspelling are called finger alphabets. There are two main families of manual alphabets. The one-hand and the two-hand families. American Sign Language (ASL) is used for deaf people in America and south of Canada and it belongs to the one-hand family. The work carried out in this thesis includes the analysis of recognition performance of ASL fingerspelling under four main methods. Mainly the prominent feature extraction, Principal Component Analysis (PCA), Discrete Cosine Transform (DCT) based code assignment and Singular Value Decomposition (SVD) are coupled with circularity. In this work while developing the ASL fingerspelling recognition for the 26 letters of the English alphabet a custom database has been used. This database was generated by using four different signers and each person has signed a total of six times for each letter. Hence 156 images for each signer and a total of 624 images for the entire alphabet were acquired. Each image had 640 × 480 pixel resolution. Throughout the simulations the custom hand dataset and three randomly shuffled versions of this original set were obtained. Each one of the four methods mentioned above had been applied to the individual sets and the results were compared referring to accuracy in determining the signed characters. The simulation results show that when DCT and SVD are applied locally (to sub-blocks instead of the global image) they both give very good performances. In the case of 4:2 training vs. testing the overall recognition rate for the SVD applied locally is 100% and for the DCT applied locally this value was 97.11%. When the SVD is applied globally under the same conditions the overall recognition rate was 92.3%. In fact, SVD using all the singular values has a better performance than the DCT using only the most important coefficients. If we are not concerned about complexity SVD would give the highest overall recognition rate whereas if reduction in complexity is a must DCT is the best contender. The third best result was obtained using the prominent features based method. In contrast, the poorest recognition rate was related to the PCA. The performance of PCA is degraded since hand patterns are not correlated and the mean hand image is quite dispersed. As the training to testing ratio is decreased the overall performance for all methods would gradually also go down.

Keywords: American Sign Language, fingerspelling, principal component analysis, discrete cosine transform and singular value decomposition. ……………………………………………………………………………………………………………………………………………………………………………………………………………………

ÖZ: İşaret dili, ses yerine el hareketlerini kullanan manuel bir dil olarak tanımlanmaktadır. Bu figürler, değişik el-şekilleri, oryantasyonu ve hareketlerinden oluşmaktadır. İşaret dili uluslararası bir dil olmayıp duyma yeteneği bulunmayan insanlar ile iletişimin güçlendirilmesi amacıyla tanımlanmıştır. İşaret dilinde iki ana iletişim şekli tanımlanmaktadır. Bunların birincisi, ortak kelimeler için vücut dilinin kullanıldığı kelime işaretlerine dayanmaktadır. Aynı zamanda Parmak Yazımı olarak da adlandırılan ikinci iletişim yöntemi ise karakterleri özel bir alfabede kullanan ve yalnızca ellerin kullanıldığı yazıma dayalı bir anlatım yöntemidir. Parmak yazımı için oluşturulan manuel alfabe, parmak alfabesi olarak adlandırılmaktadır. Amerikan İşaret Dili (AİD) [ASL] duyma yeteneği bulunmayan insanlar için Amerika ve Güney Kanada’da kullanılmakta olup bir-el ailesine aittir. Bu tez çalışmasında AİD Parmak Yazımı tanıma performansı 4 ana yöntem altında analiz edilmiştir. Bu yöntemler esas olarak Önemli Özellik Çıkarma, Ana Bileşen Analizi (ABA) [PCA], Ayrık Kosinüs Dönüşümüne (AKD) [DCT] dayalı kod ataması ve dairesellikle bir araya getirilen Tekil Değer Ayrışması (TDA) [SVD] olarak sayılabilmektedir. Bu tez çalışmasında 26 statik İngiliz alfabesi karakteri için AİD tanıma sisteminin geliştirilmesi sırasında özel bir veritabanı kullanılmıştır. Bu veritabanı 4 değişik denek kullanılarak hazırlanmış olup her denek her bir karakter için toplam 6 kez işaret kullanmıştır. Dolaysıyla her bir denek için toplam 156 görüntü ve tüm alfabe için toplam 624 görüntü elde edilmiştir. Her görüntünün çözünürlüğü 640×480 pikseldir. Simülasyonlar boyunca özel el veritabanları ve bu orijinal setlerin gelişigüzel bir şekilde karıştırılan 3 versiyonu elde edilmiştir. Yukarıda açıklanan 4 yöntemin her biri bir kez olmak üzere her bir sete uygulanmış olup çıkan sonuçlar hassasiyet faktörü göz önünde bulundurularak karşılaştırılmıştır. Çıkan sonuçlar AKD ve TDA’nın yerel olarak kullanıldığında (global görüntü yerine alt-bloklara) bu yöntemlerin her ikisinin de çok iyi performans sergilediğini göstermektedir. 4:2’lik öğrenme – test durumunda genel tanıma oranı, yerel olarak uygulanan TDA için 100% olup bu oran yerel olarak uygulanan AKD için 97.11%’dir. TDA aynı koşullar altında global olarak uygulandığında genel tanıma oranı 92.3% olmuştur. Gerçek anlamda tüm tekil değerleri kullanan TDA yalnızca en önemli katsayıları kullanan AKD’den daha iyi bir performansa sahiptir. Karmaşıklık oranının azaltılmasının bir zorunluluk olduğu durumlarda AKD’nın en iyi performansı sunduğu gerçeğinin yanısıra, karmaşıkılık oranının bizim açımızdan endişe yaratmadığı durumlarda TDA en yüksek genel tanıma oranını sunacaktır. En iyi üçüncü sonuç Önemli Özellik bazlı yöntem kullanıldığında elde edilmiştir. Buna karşın en zayıf tanıma oranı ABA’ya ait olmuştur. ABA’nın performansı el hareketleri arasında bir ilişki bulunmadığından ve ortalama el görüntüsünün oldukça dağınık olduğundan dolayı düşmüştür. Öğrenme – test oranının düşmesi ile birlikte tüm yöntemler için genel performans değerleri de giderek azalacaktır.

Anahtar Kelimeler: Amerikan İşaret Dili, Parmak Yazımı, Ana Bileşen Analizi, Ayrık Kosinüs Dönüştürme ve Tekil Değer Ayrışması.