Termset Selection and Weighting in Binary Text Classification

Abstract

In this dissertation, a new framework that is based on employing the joint occurrence statistics of terms is proposed for termset selection and weighting. Each termset is evaluated by taking into account the simultaneous and individual occurrences of the terms within the termset. Based on the idea that the occurrence of one term but not the others may also convey valuable information for discrimination, the conventionally used term selection schemes are adapted to be employed for termset selection. Similarly, the weight of a given termset is computed as a function of the terms that occur in the document under concern. This weight estimation scheme allows evaluation of the individual occurrences of the terms and their co-occurrences separately so as to compute the document-specific weight of each termset. The proposed termset-based representation is concatenated with the bag-of-word approach to construct the document vectors. As an extension to the proposed scheme, the use of cardinality statistics of the termsets is also considered for termset weight computation. More specifically, the cardinality statistics of the termsets that quantifies the number of member terms that occur in the document under concern is used for termset weighting. When employing termsets of length greater than two, cardinality-based weighting is observed to provide further improvements. Keywords: Co-occurrence features, Cardinality statistics, Termset selection, Termset weighting, Document representation, Binary text classification.ÖZ: Bu tezde, kelimelerin birlikte mevcudiyet istatistiklerine dayalı bir kelimeküme seçme ve ağırlıklandırma çerçevesi geliştirilmiştir. Her kelimeküme, içerdiği kelimelerin birlikte ve bağımsız olarak mevcudiyetleri dikkate alınarak değerlendirilmiştir. Bir kelimekümedeki kelimelerin sadece birinin mevcudiyetinin de ayırt edici değerli bilgi taşıyabileceği fikrinden yola çıkarak, geleneksel olarak kullanılan kelime seçme yöntemleri kelimeküme seçme amacıyla kullanılmak üzere güncellenmiştir. Benzer şekilde, verilen bir kelimekümenin ağırlığı, ilgili dökümanda yer alan kelimelerin bir fonksiyonu olarak tanımlanmıştır. Önerilen ağırlık kestirim yöntemi, kelimelerin tek başlarına ve birlikte mevcudiyetlerini ayrı ayrı değerlendirip dökümana bağlı ağırlıkların belirlenmesine olanak tanımaktadır. Önerilen kelimeküme-tabanlı gösterim ile kelime-çantası gösterimi birleştirilerek döküman vektörleri tanımlanmıştır. Önerilen yaklaşımın bir uzantısı olarak, kelimekümelerin ağırlıklarının hesaplanmasında eleman sayısı istatistiklerinin kullanımı üzerinde de çalışılmıştır. Daha belirgin bir ifadeyle, kelimekümeler içerisindeki mevcut kelimelerin toplam sayıları ile ilgili bilgi içeren kelime sayısı istatistikleri, kelimeküme ağırlıklandırılmasında kullanılmıştır. İki kelimeden daha uzun kelimekümeler kullanıldığında, eleman sayısı tabanlı ağırlıklandırmanın daha fazla iyileştirme sağladığı gözlenmiştir. Anahtar kelimeler: Birlikte mevcudiyet öznitelikleri, Eleman sayısı istatistikleri, Kelimküme seçme, Kelimeküme ağırlıklandırma, Döküman gösterimi, İkili metin sınıflandırma