Imputing Missing Values Using Support Variables with Application to Barley Grain Yield

Abstract

In any data collection process, regardless of the sampling method, missing data values are encountered due to many different reasons. Depending on the amount of missing data the results to be obtained from the analysis of such data will somehow be affected. Therefore, starting from 1950s an increasing interest is shown by statisticians on one hand how to minimize the missing data values and also how to impute the missing values. In this thesis the theory and methods employed so far for the imputation of missing values in a data set are studied in detail. This is followed by the introduction of a new concept in the imputation of missing data using the support variables as part of multivariate regression process. Conversion of the units of support variables to that of the response variable is very important and is studied in detail via the imputation of missing values in a barley grain yield data set. Application results of the support variable concept is comepared with the results obtained from Markov Chain Monte Carlo (MCMC), Gaussian and Epanechnikov Kernel regression and found to be better performer in terms of lower error levels and in terms of robustness. The robustness of the results of all methods are checked using the Relative Aitchison Distance (RDA) concept. Keywords: Missing Value, Imputation, Support Variables, Mean Squared Error (MSE), Regression, Correlation, Kernel Regression.

ÖZ: Veri toplama yöntemine bakılmaksızın, herhangi bir veri toplama işleminde çok değişik nedenlerden kaynaklanan veri eksiklikleri oluşmaktadır. Eksik verilerin az veya çok oluşuna göre, böyle bir veri tabanını kullanarak yapılacak herhangi bir veri analizinin sonuçlarıda etkilenecektir. Bu nedenle, veri toplama işleminde eksik verilerin minimuma indirgenmesi veya eksik verilerin tahmin edilmesi konularında istatistikciler 1950li yıllardan bu yana giderek artan oranda konuyla ilgili araştırmalarına devam etmektedir. Bu tez çalışmasında bugüne kadar konuyla ilgili yapılan birçok teorik ve pratik çalışma detaylı olark incelenmiştir. Bunu takip eden aşamada eksik verilerin tahmin işleminde, desetek değişkenlerinin çok değişkenli regresyonda kullanımı önerilmiştir. Destek değişkenlerine ait birimlerin bağımlı değişken birimine dönüştürülmesi çok önemli olduğundan, detaylı olarak incelenmiş ve arpa verimliliği verisi kullanılarak uygulaması yapılmıştır. Destek verileri kullanılarak yapılan uygulamadan elde edilen sonuçlar, Markov Chain Monte Carlo (MCMC), Gaussian ve Epanechnikov Kernel regresyon metodlarından elde edilen sonuçlarla, tahmin hataları, ve tahminlerin güçlülüğü açısından kıyaslanmıştır. Elde edilen sonuçlara göre önerilen destek verileri ile tahmin yöntemi daha düşük hatalı va daha güçlü tahminler vermiştir. Tahminlerin gücü Relative Aitchison Distance (RDA) yöntemi ile hesaplanmıştır. Anahtar kelimeler: Eksik Değer, Veri Atama, Destek Değişkeni, Hata Karelerinin Ortalaması (HKO), Regresyon, Korelasyon, Kernel Regresyonu.