Relationship between Principal Component Analysis and Factor Analysis

Abstract

In every field of scientific research and application, where the masses of data is available in multivariate form, the use of multivariate statistical analysis techniques can be implemented to achieve proper statistical inferences. The statistical modeling of data is the essential part of the multivariate analysis. The model might be the linear combinations of the original data, which can be created though the relationship between Principal Component Analysis (PCA) and Factor Analysis (FA). Such process of converting the entire data into the set of few clusters or linear models is called dimension reduction. Before applying FA, the Kaiser-Meyer-Olkin (KMO) measure of sampling adequacy test for FA is used (12). Initial factor loadings and the variamx rotated factor loadings are computed via PCA approach. The estimated factor models generated by ordinary least square method, are further used for statistical control charts. Finally the generation of the uncorrelated statistical models using the relationship between PCA and FA is carried out to enable the estimation of the future outcomes. Keywords: Correlation matrix, KMO test, Reducible Eigen space, dimension reduction, varimax rotation, uncorrelated statistical models, OLS estimated factor scores, statistical control charts.

ÖZ: Bilimsel araştırma ve uygulamanın her alanında, çok değişkenli verilerin var olduğu durumlarda, en uygun sonuçlar çok değişkenli istatistik analiz yöntemleri ile elde edilebilir. Verilerin istatistikslel modellemesi çok değişkenli analizin temel unsurudur. Bu modelleme Temel Bileşenler Analizi (TBA) ve Faktör Analizi (FA) arasındaki ilişkiden yararlanarak veriler arasında doğrusal kombinasyonların oluşturulması şeklinde olabilir. Verilerin alt gruplara veya doğrusal modellere dönüştürülmesine boyut indirgeme denir. FA yapılmadan önce, verilerin FA’ya uygunluğunun saptanması için Kaiser-Meyer-Olkin (KMO) ölçüm hesabı yapılır. İlk faktör yükleri ve varimax metodu ile dönüşümü yapımış faktör yükleri TBA yaklaşımı ile hesaplanır. Minimum kareler yöntemi ile tahmin edilmiş faktör modeli istatistiksel control grafiklerinin oluşturulmasında kullanıldı. Son olarak TBA ve FA arasındaki ilişki kullanılarak ileriki oluşumların tahmininde kullanılmak üzere bağımsız istatistiksel modeller oluşturulmuştur. Anahtar kelimeler: Korelasyon matrisi, KMO test, indirgenebilir Eigen uzayı, boyut indirgeme, varimaks döndürümü, enküçük kareler metodu ile tahmin edilmiş faktör skorları, istatistiki Kontrol grafikleri.