Imbalance Learning Using Thresholding and Sample Repositioning

Abstract

The most frequently used approaches for imbalance learning are balancing by resampling, cost-sensitive learning and thresholding. In the balancing technique, the minority class is oversampled. Most of the algorithms used for this purpose are variants of the well-known algorithm named SMOTE, which is based on creating synthetic samples on the lines connecting selected minority instances. In cost-sensitive learning, the penalty of misclassifying a minority sample is set to be higher than that of a majority instance. In the thresholding approach, the decision threshold is adjusted to detect the minority class at the cost of increased misclassification of the majority instances. In this thesis, the dependence of the optimal threshold on the performance metric is f irst studied. It is shown that the optimal thresholds for two widely used performance evaluation metrics, namely F score and G mean are different in most of the cases. In order to tackle the threshold estimation problem, building a threshold prediction model is defined as a meta-learning task. Novel features are suggested to quantify the imbalance characteristics of the datasets and the patterns among the prediction scores. The proposed threshold prediction model is built using these features extracted from external data. The model obtained is then employed to estimate the optimal thresholds for previously unseen datasets. Repositioning of samples instead of balancing is also addressed. The classifiers are enforced to learn the decision region of the minority class by mainly repositioning the majority class samples. By repositioning, the regions in which minority instances exist are not outnumbered by the majority class samples. Hence, the classifier labels these regions as the minority class. The minority samples are repositioned in small steps to avoid distorting the original distribution. The potential of the proposed repositioning scheme is also evaluated as a preprocessing algorithm for SMOTE. Keywords: imbalance learning, repositioning, thresholding, balancing, binary classification, SMOTEDengesiz ögrenme için en sık kullanılan yakla¸sımlar örnekleyerek dengeleme, maliyete duyarlı ögrenme ve e¸siklemedir. Dengeleme tekni ginde, azınlık sınıfı a¸sırı örneklenir. Bu amaçla kullanılan algoritmaların çogu, seçilen azınlık örneklerini birle¸stiren hatlar üzerinde sentetik örnekler olu¸sturmaya dayanan SMOTE adlı iyi bilinen algoritmanın varyantlarıdır. Maliyete duyarlı ögrenmede, bir azınlık örne gini yanlı¸s sınıflandırmanın cezası, çogunluk örne gininkinden daha yüksek olacak ¸sekilde ayarlanmı¸stır. E¸sikleme yakla¸sımında, çogunluk örneklerinin yanlı¸s sınıflandırılması pahasına azınlık sınıfını tespit etmek için karar e¸sigi ayarlanır. Bu tezde ilk olarak optimal e¸sigin performans metri gine ba gımlılı gı incelenmi¸stir. Yaygın olarak kullanılan iki performans degerlendirme metri gi, yani F−score ve G−mean için en uygun e¸siklerin çogu durumda farklı oldu gu gösterilmi¸stir. E¸sik tahmin probleminin üstesinden gelmek için e¸sik tahmin modeli olu¸sturmak, bir meta-ögrenme görevi olarak tanımlanmı¸stır. Veri setlerinin dengesizlik özelliklerini ve tahmin skorlarındaki örüntüleri ölçmek için yeni öznitelikler önerilmi¸stir. Önerilen e¸sik tahmin modeli, dı¸s verilerden hesaplanan bu öznitelikleri kullanılarak olu¸sturulmu¸stur. Elde edilen model, daha önce görülmemi¸s veri kümeleri için en uygun e¸sikleri tahmin etmek için kullanılmı¸stır. Dengeleme yerine örneklerin yeniden konumlandırılması da ele alınmaı¸stır. Sınıflandırıcılar öncelikle çogunluk sınıfının örneklerini yeniden konumlandırarak azınlık sınıfının karar bölgelerini ögrenmeye zorlanır. Kaydırma neticesinde, azınlık örneklerinin bulundugu bölgelerde, ço gunluk sınıfının örnek sayısı bakımından üstün olmaması saglanır. Dolayısıyla, sınıflandırıcı bu bölgeleri azınlık sınıfı olarak etiketler. Azınlık örnekleri, orijinal dagılımı bozmamak için küçük adımlarla yeniden konumlandırılmaktadır. Önerilen yeniden konumlandırma algoritmasının potansiyeli, SMOTE için bir ön i¸sleme algoritması olarak da degerlendirilirmi¸stir. Anahtar Kelimeler: dengesizlik ögrenme, yeniden konumlandırma, e¸sikleme, dengeleme, ikili sınıflandırma, SMOTE