Smoothing with Kernel Regression and Related to Principal Component Analysis

Abstract

In any process that produces useful output, more than one and in many cases tens or hundreds of variables are involved. With the advancement of technology the number of observations has also dramatically increased, to the point that without using a computer software it is impossible to process such data. For processing multivariate big data sets, there are many different techniques available. For obtaining optimal bandwidth simulations were carried out. Mean Squared Error (MSE) and the ratio of MSE to the average of the variance of estimated values (AVE) were used as criteria, in obtaining the optimal bandwidth. It is determined that the linear correlation between the PC and the variable, and the contribution of a variable to the PC has significant effect on the error levels. In this thesis Kernel Regression which is a non-parametric regression method is used for estimating various dependent variables. In chapter 3 basic theory related with kernel regression is given, supported by the proof of various theorems and application data. For large number of variables the Principal Component Analysis (PCA) technique is used to reduce the number of variables to manageable level. Basic theory related with PCA is given under chapter 4. In this thesis a logical link between kernel regression and PCA is established for the estimation of the variables governing a process. The variables governing the process are taken as dependent i X , and Principal Components (PC) as independent variables, using kernel regression. In chapter 5, a data set consisting of 14 variables was used to determine the necessary number of PCs, using both covariance and correlation matrices separately. Then, variables that exhibited high correlation with PCs, and variables with high contribution to a PC were taken as dependent variables, while PCs were used as independent variables in kernel regression.

ÖZ: Kullanışlı çıktı üreten herhangi bir işlemde, birden fazla ve çoğu zaman onlarca veya yüzlerce değişken söz konusudur. Teknolojinin gelişmesiyle birlikte elde edilebilen gözlem sayısı ciddi şekilde artarken, bilgisayar yazılımlarını kullanmadan bunların analiz edilmesi imkansızdır. Çok değişkenli büyük verilerin işlenmesi için, birçok farklı teknik mevcuttur. Bu tezde parametrik olmayan bir regresyon yöntemi olan Kernel Regresyonu, çeşitli bağımlı değişkenleri tahmin etmek için kullanılmıştır. Bölüm 3'te kernel regresyonu ile ilgili temel teori, çeşitli teoremlerin ispatı ve bir uygulama örneği ile desteklenerek verilmiştir. Çok sayıda değişken için, değişken sayısını yönetilebilir seviyeye düşürmek için Temel Bileşen Analizi (TBA) tekniği kullanılır. TBA ile ilgili temel teori bölüm 4'te verilmiştir. Bu tezde, süreçte geçerli olan değişkenlerin tahmini için kernel regresyonu ile TBA arasında mantıksal bağlantı kurulmuştur. Bu mantıkta değişkenler ( i X ) bağımlı olarak, Temel Bileşenler (TB) bağımsız değişkenler olarak alınarak kernel regresyonu uygulanmıştır. Beşinci bölümde 14 değişkenden oluşan bir veri setinin kovaryans ve korelasyon matrisleri ayrı ayrı kullanılarak gerekli TB sayısı belirlemiştir. Daha sonra, TB'lerle yüksek korelasyon gösteren değişkenler ve TB'ne yüksek katkısı olan değişkenler, bağımlı TB'ler ise bağımsız değişkenler olarak alınarak kernel regresyonu uygulanmıştır. Optimal bant genişliği elde etmek için simülasyonlar yapıldı. Hata Karelerinin Ortalaması (HKO) ve HKO'nin tahmin edilen değerlerin varyans ortalamasına oranı, optimal bant genişliğinin elde edilmesinde ölçüt olarak kullanılmıştır. TB ile değişken arasındaki doğrusal korelasyonun ve bir değişkenin TB'ye katkısının hata seviyeleri üzerinde önemli bir etkiye sahip olduğu tespit edilmiştir.