Principal component analysis in statistics

Abstract

ABSTRACT: Researchers and students sometimes need to deal with large volumes of data, causing them to have difficulty in the analysis and interpretation of these data. In the statistical analysis of high dimensional data, it is required to reduce the dimension of data set without losing any important information. One way of achieving this goal is the use the principal component analysis (PCA). The PCA objectives are to extract an important part of information from the data set, reducing the size of data with no damage to data and information. This is achieved by finding a new set of independent (uncorrelated) variables called principal components which are obtained as a linear combination of the original variables. The calculation of PCs means the computation of eigenvalues and eigenvectors for a positive-semidefinite symmetric matrix. The first PC has the largest proportion of variance of the data, and the second component has the second largest proportion of variance and is orthogonal to the first principal component. Remaining PCs represents the remainin variance in descending order, and each PC is orthogonal to its prdecesor. After computing the PCs, the first several PCs that represents the large part of variation are selected for use in further analysis. Finally, discussion of correlation between the PCs and original variables and determine which variable has more influence on each PC. Keywords: Principal Component Analysis (PCA), orthogonal matrix, eigenvalue, eigenvector, singular value decomposition (SVD), covariance, correlation.

…………………………………………………………………………………………………………………………

ÖZ: Araştırmacılar ve öğrenciler çalışmalarında büyük veri kitleleri ile çalışmak durumunda kalabilirler. Bu durum verilerin analizinde ve yorumunda güçlükler yaratabilir. Büyük boyutlu verilerin istatistiksel analizinde verideki önemli bilgileri kaybetmeden veri boyutu indirgemesi yapılması gereksinimi vardır. Bu amaca ulaşmanın yollarından bir taneside temel bileşenler analizi (TBA) dir. TBA’nın amacı verideki önemli bilgi içeriğini çıkarmak, veri boyutunu indirgerken veriye ve içerdiği bilgiye hasar vermemektir. Bu hedefe ulaşırken temel bileşenler (TB) denen, mevcut değişkenlerin lineer bir kominasyonu olan, birbirinden bağımsız yeni değişkenler tanımlanır. TB’lerin hesabında prensip olarak pozitif-yarıkesin simetrik bir matrisin özdeğer ve özvektörlerinin hesabı gerekir. Birinci TB verideki salınımın (varyasyonun) en büyük kısmını, ikinci TB birinciye orthogonal olub verideki salınımın ikinci en büyük kısmını temsil eder. Benzer şekilde geriye kalan TB’lerde azalan oranda salınımı temsil eder ve her biri kendinden önce gelene ortogonaldir. TB’lerin saptanmasından sonra, verideki salınımın büyük kısmını temsil eden ilk birkaç TB, daha ileri analiz ve yorumda kullanılmak üzere seçilir. TB’ler ile verideki değişkenler arasındaki ilişki ve hangi değişkenlerin TB üzerinde daha büyük etkisi olduğu incelenir. Anahtar kelimeler: Temel bileşenler analizi (TBA), ortogonal matris, özdeğer, özvektör, tekil değer ayrışımı (TDA), kovaryans, korelasyon.