Detecting Hate Speech using Machine Learning and Sampling Techniques

Abstract

The spread of hate speech on social media platforms is a problem that is constantly becoming more imminent as the access to related technologies gets easier. This study focuses on detecting hate speech on an imbalanced multiclass twitter dataset using Machine Learning (ML) algorithms. The most commonly used ML algorithms namely, Logistic Regression, Support Vector Machines (SVM) and deep learning systems Gated Recurrent Unit (GRU), Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM), Bi-directional Long Short-Term Memory (BiLSTM) and a hybrid model CNNBiLSTM have been used for hate speech detection. In order to overcome the problems that arise from using an imbalanced dataset several techniques are used to balance the dataset, Synthetic Minority Oversampling Technique (SMOTE), SMOTETomek, SMOTEENN, Adaptive Synthetic (ADASYN), class weights and the proposed method. Each classifier was trained with all data balancing techniques and their performances were compared in order to find the best classifier for classifying hate speech in the dataset. The best classifier was CNN using the proposed method and it had an F1-score of 0.96 with a Cohen Kappa score of 0.94 and an overall Recall and Precision score of 0.96. For the best system, the recall and precision scores for the hate class was 1.00 and 0.94 respectively.

ÖZ: Nefret söyleminin sosyal medya platformlarında yayılması, ilgili teknolojilere erişim kolaylaştıkça sürekli artan bir sorundur. Bu çalışma, Makine Öğrenimi (ML) algoritmalarını kullanarak dengesiz çok sınıflı bir Twitter veri kümesinde nefret söylemini tespit etmeye odaklanmaktadır. En yaygın olarak kullanılan ML algoritmaları Lojistik Regresyon, Destek Vektör Makineleri (SVM) ve Kapılı Tekrarlayan Birim (GRU), Evrişimsel Sinir Ağı (CNN), Uzun Kısa Süreli Bellek (LSTM), Çift Yönlü Uzun Kısa- Nefret söyleminin tespiti için Term Memory (BiLSTM) ve bir hibrit model CNNBiLSTM gibi derin öğrenme sistemleri kullanılmıştır. Dengesiz bir veri kümesinin kullanılmasından kaynaklanan sorunların üstesinden gelmek için, veri kümesini dengelemek için çeşitli teknikler, Sentetik Azınlık Aşırı Örnekleme Tekniği (SMOTE), SMOTETomek, SMOTEENN, Uyarlanabilir Sentetik (ADASYN), sınıf ağırlıkları ve önerilen yöntem kullanılmıştır. Veri setinde nefret söylemini sınıflandırmak için en iyi sınıflandırıcıyı bulmak için her sınıflandırıcı her bir veri dengeleme tekniği ile eğitilmiş ve performansları karşılaştırılmıştır. Önerilen yöntemi kullanan en iyi sınıflandırıcı olarak 0.96'luk bir F1-puanına, 0.94'lik bir Cohen Kappa puanına ve 0.96'lik bir genel Geri Çağırma ve Kesinlik puanına sahip olan CNN algoritması belirlenmiştir. En iyi sınıflandırıcının nefret sınıfı için hatırlama ve kesinlik puanları sırasıyla 1.00 ve 0.94'tür.