A Study on Performance Evaluation of International Web Search Engines Based on English, Arabic, and Turkish Languages in Various Categories

Abstract

ABSTRACT: This study illustrates the performance evaluation of the three international Web search engines Google, Bing, and Yahoo based on the three languages English, Arabic, and Turkish in six various categories, i.e., “business”, “culture”, “health”, “sports”, “technology”, and “travel”. A total of 30 categorised queries (five per category) were determined and each of them was run in English, in Arabic, and in Turkish languages separately on each of the three Web search engines. At each run, every document retrieved in the first 10 was classified as “relevant” or “non-relevant” and, in each category, precision ratios and normalized recall ratios were calculated for each of the five queries at every Web search engine and language pair. Then, they were used in the evaluation. In all categories, generally, the Web search engines performed better performances in English document retrieval compared to Arabic document retrieval and Turkish document retrieval. Keywords: Web Search Engine, English Language, Arabic Language, Turkish Language, Information Retrieval.

………………………………………………………………………………………………………………………… ÖZ: Bu çalışma üç uluslararası Web arama motoru Google, Bing, ve Yahoo’nun, altı farklı kategorideki, “ekonomi”, “kültür”, “sağlık”, “spor”, “teknoloji”, ve “seyahat”, olmak üzere üç dile dayalı, İngilizce, Arapça, ve Türkçe, performans değerlendirmesini göstermektedir. Toplamda kategorize edilmiş 30 sorgu (her kategori için 5 tane) belirlenmiştir ve her biri İngilizce, Arapça, ve Türkçe olarak üç Web arama motorunda ayrı ayrı çalıştırılmıştır. Her çalıştırmada, ilk 10’ da alınan her belge “ilgili” yada “ilgisiz” olarak sınıflandırılmıştır ve her kategorideki her 5 sorgu için, her Web arama motoru ve dil çiftinin duyarlılık oranları ve normalize sıralama oranları hesaplanmıştır. Daha sonra, bunlar değerlendirmelerde kullanılmıştır. Tüm kategorilerde, Web arama motorları Arapça dokümana erişim ve Türkçe dokümana erişim performanslarına kıyasla genelde İngilizce dokümana erişimde daha iyi performans göstermiştir. Anahtar Kelimeler: Web Arama Motoru, İngilizce Dili, Arapça Dili, Türkçe Dili, Bilgi Erişim.