An Experimental Study on the Effect of Using the Wrongly Spelled and/or Pronounced Turkish Words on Web Search Engines

Abstract

ABSTRACT: This study investigates how the Web search engines handle Turkish words which are frequently wrongly spelled and/or pronounced with their own particular wrong form(s). First of all, the three most popular international Web search engines Google, Bing, and Yahoo were selected, and a query list consisted of a set of such words with their incorrect forms was formed. All queries were run on the Web search engines separately and, at each run, every document retrieved in the first twenty was classified as “relevant” or “non-relevant”. Precision ratios and normalized recall ratios were calculated at various cut-off points. It seems that using incorrect forms affected the information retrieval effectiveness of the Web search engines in a negative way. Keywords: Web Search Engine, Turkish Language, Evaluation, Precision Ratio, Normalized Recall Ratio.

………………………………………………………………………………………………………………………… ÖZ: Bu çalışma, Web arama motorlarının, Türkçede kendilerine özgü yanlış formlarıyla sıklıkla yanlış yazılan ve/veya yanlış telafuz edilen kelimeleri nasıl ele aldığını araştırır. İlk olarak, en popular üç uluslararası Web arama motoru, Google, Bing, ve Yahoo seçildi ve bu tür kelimelerin bir kümesini yanlış formları ile birlikte içeren bir sorgu listesi oluşturuldu. Bütün sorgular, seçilen arama motorları üzerinde ayrı ayrı çalıştırıldı ve her çalıştırmada, ilk 20’ de erişilen her belge “ilgili” veya “ilgisiz” olarak sınıflandırıldı. Çeşitli kesme-noktalarında duyarlılık oranları ve normalize sıralama oranları hesaplandı. Yanlış formların kullanımının Web arama motorlarının bilgi erişim etkinliğini olumsuz yönde etkilediği görülmektedir. Anahtar Kelimeler: Web Arama Motoru, Türkçe Dili, Değerlendirme, Duyarlılık Oranı, Normalize Sıralama Oranı.