Sentiment Analysis Using Pretrained Bidirectional Encoder Representation from Transformer

Abstract

Sentiment analysis is a quickly expanding area of research in natural language processing and text classifications. This technique has become an essential part of a wide range of applications such as politics, business, advertising and marketing. In order to achieve stronger marketing, checking and analyzing users' opinions in the digital world has become a basic need. Therefore, the use of more up-to-date techniques with a higher percentage of accuracy will create targeted marketing and success in sales and businesses in the real world. There are various approaches for sentiment analysis, but in this thesis the most popular and effective model by focusing on Sentiment Analysis study which is RoBERTa model to detect emotions in extensive textual data is discussed. Experimental results demonstrate the RoBERTa model's application on three datasets—IMDB (50,000 movie reviews) and Sentiment140 and Disneyland Reviews. Due to hardware constraints, pre-trained models mitigate the need for extensive data and computational resources. Evaluation metrics, including accuracy, precision, recall, and F1-score, attest to the model's effectiveness that has represented in chapter 5. The thesis contributes insights into the evolution of sentiment analysis, underscores the significance of transformer-based models, and provides empirical evidence of RoBERTa's efficacy in sentiment analysis across diverse datasets. It emphasizes the pivotal role of advanced NLP techniques in achieving accurate and efficient sentiment analysis in contemporary applications. Keywords: NLP, sentiment analysis, transformers, RoBERTa

Duygu analizi, doğal dil işleme ve metin sınıflandırmalarında hızla genişleyen bir araştırma alanıdır. Bu teknik siyaset, iş dünyası, reklamcılık ve pazarlama gibi çok çeşitli uygulamaların vazgeçilmez bir parçası haline geldi. Daha güçlü bir pazarlamaya ulaşmak için dijital dünyada kullanıcıların görüşlerinin kontrol edilmesi ve analiz edilmesi temel bir ihtiyaç haline geldi. Bu nedenle, daha güncel tekniklerin daha yüksek doğruluk yüzdesiyle kullanılması, gerçek dünyada satışlarda ve işletmelerde hedefe yönelik pazarlama ve başarı yaratacaktır. Duygu analizi için çeşitli yaklaşımlar vardır ancak bu tezde, Duygu Analizi çalışmasına odaklanılarak en popüler ve etkili model olan, kapsamlı metinsel verilerdeki duyguları tespit etmeye yönelik RoBERTa modeli tartışılmıştır. Deneysel sonuçlar, RoBERTa modelinin üç veri kümesine (IMDB 50.000 film incelemesi) ve Sentiment140 ve Disneyland İncelemeleri) uygulanmasını göstermektedir. Donanım kısıtlamaları nedeniyle önceden eğitilmiş modeller, kapsamlı veri ve hesaplama kaynaklarına olan ihtiyacı azaltır. Doğruluk, kesinlik, geri çağırma ve F1 puanı dahil değerlendirme ölçümleri, modelin 5. Bölümde sunulan etkinliğini kanıtlamaktadır. Tez, duyarlılık analizinin evrimine dair içgörülere katkıda bulunuyor, transformatör tabanlı modellerin öneminin altını çiziyor ve RoBERTa'nın çeşitli veri kümeleri genelinde duyarlılık analizindeki etkinliğine dair ampirik kanıtlar sağlıyor. Çağdaş uygulamalarda doğru ve etkili duygu analizi elde etmede ileri NLP tekniklerinin önemli rolünü vurgulamaktadır. Anahtar Kelimeler: doğal dil işleme, duygu analizi, transformatörler, RoBERTa