Sentiment Analysis in Political Text

Abstract

Political discourse in the digital age takes many forms, including news articles, social media posts, political speeches, and public opinion polls. Understanding popular sentiments, analyzing political trends, and evaluating the emotional landscape surrounding political problems all need a careful examination of the attitudes conveyed in various textual sources. However, the intrinsic complexities of language, contextual complexities, and the nuanced interaction of multiple emotions provide severe hurdles to sentiment analysis in political works. Traditional sentiment analysis approaches frequently fail to capture these subtle sentiments properly. The core research question is concerned with the adaption and optimization of transformer models to provide precise sentiment analysis across a wide range of political text forms. Unlike many domains of NLP, the political arena contains nuances that are not easy to identify by machines, thus this study aims to use three transformer models, BERT, RoBERTa and GPT-3 to investigate which one of the models is best to encapsulate the complex scenario of the political arena based on the NewsMTSC dataset, which is curated from two distinct datasets, POLUSA and BiasFlipper. The results show that the best performing of these models is RoBERTa with an average accuracy of 84.97% and F1-score of 86.98%. While BERT scores are closer to RoBERTa with average accuracy and F1-score of 81.72% and 81.09% respectively, GPT-3 had the worst performance with an average and F1-score of 79.40% and 79.51%. These results show that with advancements in technology and machine learning, accurately classifying data such as in politics will not always give the best results due to the complexity of human emotions in such cases.

ÖZ: Dijital çağda siyasi söylem, haber makaleleri, sosyal medya gönderileri, siyasi konuşmalar ve kamuoyu yoklamaları da dahil olmak üzere birçok farklı biçimde ortaya çıkıyor. Popüler duyguları anlama, siyasi eğilimleri analiz etme ve siyasi sorunları çevreleyen duygusal manzarayı değerlendirme, çeşitli metin kaynaklarında iletilen tutumların dikkatli bir şekilde incelenmesini gerektirir. Ancak dilin karmaşıklığı, bağlamsal incelikler ve çeşitli duyguların karmaşık etkileşimi, siyasi eserlerde duygu analizi konusunda ciddi engeller oluşturuyor. Geleneksel duygu analizi yaklaşımları, bu ince duyguları etkili bir şekilde yakalamada sıklıkla başarısız oluyor. Temel araştırma sorusu, bu dönüştürücü modellerin siyasi metin türlerinin geniş yelpazesinde hassas duygu analizi sunmak için nasıl uyarlandığı ve optimize edildiği ile ilgilidir. NLP'nin birçok alanının aksine, siyasi saha, makineler tarafından tanımlanması kolay olmayan incelikleri içerir; bu nedenle bu çalışma, POLUSA ve BiasFlipper adlı iki farklı veri kümesinden derlenen NewsMTSC veri kümesine dayalı olarak siyasi sahanın karmaşık senaryosunu hangi modelin en iyi şekilde özetlediğini araştırmak için BERT, RoBERTa ve GPT-3 olmak üzere üç dönüştürücü model kullanmayı amaçlar. Sonuçlar, bu modellerin en iyi performans göstereninin RoBERTa olduğunu gösteriyor; ortalama doğruluk oranı %84.97 ve F1 puanı %86.98. BERT, RoBERTa'ya daha yakın skorlar elde ederken ortalama doğruluk ve F1 puanları sırasıyla %81.72 ve %81.09'dur. GPT-3 ise ortalama ve F1 puanı %79.40 ve %79.51 ile en düşük performansa sahiptir. Bu sonuçlar, teknoloji ve makine öğrenmesindeki ilerlemelerle, siyaset gibi verilerin doğru bir şekilde sınıflandırılmasının, insan duygularının karmaşıklığı nedeniyle her zaman en iyi sonuçları vermeyeceğini göstermektedir.