Significance of the Covariance Matrix in Principal Component Analysis

Abstract

In all the scientific fields, scientist usually deal with big data. Statistical Data Analysis is therefore used to manage data. Depending on the nature of the experiment, its output can be analyzed using univariate, bivariate or multivariate statistics. In the multivariate case when the number of variables is very large, it sometime wise to reduce the number of variable to optimize the analysis of the data. Dimension reduction is used to reduce the number of variables which is also the size of data. In this work, on method of dimension reduction called Principal Component Analysis (PCA) is discussed. The PCA is a method which is based mainly on two matrices , covariance-variance matrix and correlation coefficient matrix obtained from the data. From the mentioned matrices, using the eigenvalues and corresponding eigenvectors, linear combination of the variables called principal components (PC) are established. It is important to mentioned that for the same set of data, the PCs computed using the covariance-variance matrix are different from those computed using the correlation coefficient matrix. The core topic in this work is to studied the conditions under which it is better to use either covariance matrix or correlation coefficient matrix for the PCs computation.Öz:Bilmin hemen her dalında bilim insanları büyük verilerin analizi ile uğraşmak durumundadır. İstatistiki veri analizi verilerin değerlendirilmesinde kullanılır. Deneyin doasına bağlı olarak, elde edilen veriler, tek veya çok değişkenli istatistik yöntemlerle değerledirilebilir. Değişken sayısının çok fazla olduğu durumlarda, daha hızlı analiz imkanını elde etmek için boyut indirgemesi yapılabilir. Bu amaçla Temel Bileşenler Analizi (TBA) yöntemi kullanılır. TBA metodu verinin kovaryans veya korelasyon matrislerine bağımlı bir sistemdir. Bu matrislerin özdeğer ve özvektörlerinden yararlanarak, Temel Bileşenler (TB) denen değişkenlerin lineer kombinasyonları oluşturulur. Ancak kovaryans ve korelasyon matrisleri kullanılarak oluşturulan TB ler, bir birinden farklıdır. Bu çalışmanın temel amacı, hangi şartlar altında kovaryans veya korelasyon matrislerinin kullanılabileceğinin incelenmesidir.