A Distributed Multi Event Solution for Recommender Systems Using Hadoop

Abstract

Big data is a phenomenon that takes central stage in industry and academia arising from the advent of online services and mobile applications. Improving the efficiency of data processing and analysis has become a challenging issue. While a number of methods from different communities have been proposed for solving the “Big Data” problems, we worked with multi-event Intelligent Systems that offer efficient mechanisms, which significantly reduce the costs of processing large volume of data and improve data processing quality. Social networks could benefit from recommender systems in order to optimize the queries and ads they display for each special user. Among different approaches to analyze user data and making recommendations, we employed Collaborative Filtering with Cosine Similarity criterion for item-based similarity recognitions. In the implemented method, a Holonic multi-event system (HMES) is designed to process a portion of Amazon database in a distributed manner. The use of Hadoop and map-reduce technology is aimed to make more accurate and faster predictions and recommendations. Different evaluation standards such as Perfect Hit (PHIT), and Mean Percentage Rank (MPR) are used to examine and compare the proposed method with other conventional methods. The results obtained in this thesis are satisfactory compared to the results of the evaluation given in the literature. Keywords: recommender system, hadoop, multi event, artificial intelligence, big data, holonic

ÖZ: Büyük veri, çevrimiçi hizmetlerin ve mobil uygulamaların ortaya çıkmasından kaynaklanan endüstri ve akademi merkezini alan bir olgudur. Veri işleme ve analiz verimliliğinin artırılması zorlu bir konu haline gelmiştir. “Büyük Veri” sorunlarının çözümü için farklı topluluklardan bir takım yöntemler önerilmişken, çok sayıda verinin akıllıca işlenmesi ve veri işleme kalitesini iyileştirme maliyetlerini önemli ölçüde azaltan etkili mekanizmalar sunan Çok-olaylı Akıllı Sistemler ile çalıştık. Sosyal ağlar, her bir özel kullanıcı için görüntüledikleri sorguları ve reklamları optimize etmek amacıyla öneri sistemlerinden yararlanabilir. Kullanıcı verilerini analiz etmek ve önerilerde bulunmak için farklı yaklaşımlardan ötürü, maddeye dayalı benzerlik tanımları için İşbirlikçi Filtrelemeyi Kosine Benzerlik kriteri ile birlikte kullandık. Önerilen yöntemde, bir Holonik Çok-olaylı sistem (HMES), Amazon veritabanının bir kısmını dağıtılmış bir şekilde tasarlamaktadır. Hadoop ve harita azaltma teknolojisinin kullanılması daha doğru, daha hızlı tahminler ve önerilerde bulunmayı amaçlamaktadır. Önerilen metodu diğer geleneksel yöntemlerle incelemek ve karşılaştırmak için, Mükemmel Vuruş (PHIT) ve Ortalama Yüzde Oranı (MPR) gibi farklı değerlendirme kriterleri kullanılmaktadır. Literatürde verilen değerlendirme sonuçlarıyla karşılaştırıldığında bu tezde elde edilen sonuçlar memnuniyet vericidir. Anahtar Kelimeler: Öneri Sistemi, Hadoop, Çok Olaylı, Yapay Zeka, Büyük Veri, Holonik