Image Super Resolution using Fast Converging Iterative Interpolation and Back Projection

Abstract

Super resolution (SR) is one of the techniques to enhance image resolution in terms of the number of pixels and noise reduction. In SR techniques, a sequence of low resolution (LR) images captured by moderate camera is used to generate a high resolution (HR) image. In this thesis a new Iterative Back Projection (IBP) based SR technique is proposed. In the proposed techniques, IBP technique is improved by using interpolation. This SR technique is achieved by adding an up-sampling and down sampling in each iteration. First of all, four observed LR images are generated by an observation LR model. One of these LR images is considered as a reference image, then interpolation techniques are used to increase the size of the reference image to the size of the ground truth image. This image is considered as an initial guess image. Then the size of initial image is increased and decreased respectively by using interpolation techniques. The interpolated image is decimated to four LR images. The LR images are registered to generate an HR image, then the HR image is sent back to the first step. This process is repeated iteratively until an error criterion is met. The proposed technique is called Iterative Interpolation and Back Projection (IIBP), since an interpolation (up-sampling followed by down-sampling) module is embedded in each iteration. The embedded interpolation module speeds up the convergence of the standard IBP and generates faster results than the standard IBP. The proposed techniques are tested on various well-known benchmark images. The quantitative Peak Signal-to-Noise Ratio (PSNR) results as well as the visual results show the superiority of the proposed techniques over the standard IBP whenever limited numbers of iterations are allowed. As the number of iterations approach to infinity, generally standard IBP gives better results. Keywords: Super Resolution, Iterative Back Projection, Image Registration

ÖZ : Süper çözünürlük (SR) tekniği, imgelerdeki piksel çözünürlüğünü arttırabilmek ve gürültüyü azaltabilmek için kullanılan tekniklerden biridir. SR teknikleri, tekdüze bir kamera ile çekilen düşük çözünürlüklü (LR) bir dizi imgeyi kullanarak yüksek çözünürlüğe (HR) sahip iyileştirilmiş bir imge oluşturmak için kullanılır. Bu tezde, Iteratif Geri Projeksiyon (IBP) tabanlı farklı SR teknikleri önerilmektedir. Önerilen tekniklerde, ilk önce, giriş imgesinin çözünürlüğü çiftkübik aradeğerleme ile arttırılmakta, aradeğerlenmiş imge daha sonra bulanıklık çekirdeği, farklı kaydırmalar, ve alt örnekleme ile dört LR imgeye dönüştürülmektedir. Bu dört imge tekrar aradeğerleme ile yukarı örneklenmekte ve sonrasında çakıştırılarak yüksek çözünürlüklü bir ara imge üretilmektedir. Bu imge geri projeksiyon ile ilk adıma tekrar yönlendirilerek çıkış imgesi ile ilk adımdaki giriş imgesi arasındaki hata hesaplanmaktadır. Hata önceden belirlenen bir eşik değerinden daha küçük bir seviyeye gelene kadar bu işlem iteratif bir şekilde tekrarlanmaktadır. İkinci SR tekniği, her iteratif döngüden sonrasına bir üst örnekleme ve bir alt örnekleme ekleyerek elde edilir. Bu tekniğin ilk adımı yukarıdaki tekniğe benzemektedir. Bu teknikte çiftkübik aradeğerleme giriş imge boyutunu artırmak için kullanılır. Daha sonra, boyutu arttırılmış olan bu imgeden alt örnekleme ile dört LR imgesi elde edilir. Bu imgeler geriçatılarak HR bir ara imge elde edilir. Daha sonra bu imge alt örnekleme ile küçültülerek birinci adıma geri gönderilir. Birinci tekniğe benzer bir şekilde, hata önceden belirlenen eşik değerinden daha küçük bir seviyeye gelene kadar, söz konusu işlem iteratif bir şekilde tekrarlanır. Bu teknik iteratif aradeğerleme geri projeksiyon (IIBP) olarak adlandırılmıştır. Önerilen teknikler çeşitli tanınmış kriter imgeleri kullanılarak test edilmiştir. Görsel sonuçlar ile sayısal Tepe Sinyal-Gürültü Oranı (PSNR) ve Yapısal Benzerlik Endeksi ölçütleri kullanılarak yapılan performans değerlendirmesinde önerilen tekniklerin geleneksel ve alternative IBP tabanlı tekniklere sınırlı sayıda iterasyon durumunda bir üstünlük sağladığını göstermektedir. İterasyon sayısı sonsuza giderken geleneksel IBP, önerilen yöntemden daha iyidir. Hız gerektiren durumlarda ise önerilen yöntemin üstünlüğü ortaya konulmaktadır. Anahtar Kelimeler: Süper Çözünürlük, Iteratif Geri Projeksiyon, Görüntü Kaydı, Sabit Dalgacık Dönüşümü, Ayrık Dalgacık Dönüşümü.