Effect of Centereing Data in Principal Component Analysis

Abstract

ABSTRACT: In the analysis of multivariate data, the processing and extracting meaningful results becomes very difficult due large number of variables and data. Therefore, statistical techniques to deal with such data, by finding linear combinations of existing variables, such that each variable is assigned a coefficient or score that determines its contribution to that linear combination. These linear combinations are called Principal Components (PC) and the methodology used in the determination of the PCs is called Principal Component Analysis (PCA). In general the number of PCs is expected to be the same as the number of variables. However, the PCs are determined such that the great percentage of variation (usually over 90%) in the data accumulates in the first few PCs. Then, the remaining PCs become redundant, and the information contained in a large number of variables is reduced into a few new variables (PCs) that are linear combinations of original variables. Therefore, a technique used in determining the PCs is very important. In this work, theory of PCA with related mathematical background is explained and using a certain data set, various ways of the application of PCA technique is investigated, obtained results are interpreted. Keywords: Principle component analysis, data, eigenvalue, eigenvector, covariance, correlation, standardized data, centered data. ………………………………………………………………………………………………………………………… ÖZ: Çok değişkenli veri analizinde özellikle değişken sayısının çok fazla olduğu durumlarda işlem yapıp sonuç çıkarma oldukca zordur. Bu şartlar altında veri analizini yapabilmek için geliştirilmiş istatistik teknikler, mevcut değişkenlerin lineer kombinezonlarından oluşan ve biribirinde bağımsız yeni değişkenlerin hesaplanmsını mümkün kılar. Bu değişkenlere Temel Bileşenler ve bu bileşenlerin hesaplanmasınada kullanılan yöntemlerede Temel Bileşenler Analizi denir. Hesaplanan temel bileşen sayısı, değişken sayısı kadardır. Ancak, verideki toplam değişimin çok büyük bir kısmı ilk birkaç temel bileşen tarafından temsil edilir. Sadece bunların analiz ve yorumlamada kullanılması, hesaplamalardaki yoğunluğu ciddi miktarda azaltırken, elde edilen sonuçlar tüm kitleyi 90%’ın üstünde bir temsiliyeti sahiptir. Geriye kalan ve verideki toplam değişimin çok az bir kısmını temsil eden temel bileşenler işleme sokulmaz. Böylece, çok yüksek sayıdaki veri miktari çok aza indirgenmiş olur. Bu nedenle temel bileşenlerin hesabında kullanımlan yöntemler çok önemlidir. Bu çalışmada temel bileşenler analizinin matematiksel temelleri izah edilmiş, belli bir veri seti kullanılarak metodun farklı yaklaşımlarla uygulaması yapılıp, elde edilen sonuçlar yorumlanmıştır. Anahtar kelimeler: Temel bileşenler analizi, veri, özdeğer, özvektör, kovaryans, korelasyon, standartlaştırılmış veri, merkezileştirilmiş veri.