Single image super resolution based on sparse representation via structurally directional dictionaries

Abstract

ABSTRACT: In this thesis, we propose an algorithm of sparse representation using structurally directional dictionaries to super resolve a single low resolution input image. We have focused on the designing structured dictionaries for different clusters of patches instead of a global dictionary for all the patches. Due to highly directional nature of image content, designing structurally directional dictionaries promises to better capture the intrinsic image characteristics. Furthermore, designing multiple dictionaries with smaller sizes leads to less computational complexity. The proposed algorithm is based on dictionary learning in the spatial domain. In order to design dictionaries the K-SVD algorithm is used and for this purpose for each of the structured dictionaries a structured training set is prepared. In order to classify the patches into different data sets, a set of templates are designed and each patch is clustered using template matching. Each and every of the templates is modeled according to a specific direction. Then using a similarity measurement, the HR patches and the corresponding features (LR patches) are clustered into directional clusters. Then structurally directional dictionaries are learned by employing the structured training clusters via the K-SVD algorithm. For every cluster two dictionaries are designed: one for the HR patches and the other one for the features. In the reconstruction part, a LR input image comes in and all the features are coded sparsely with the most suitable directional LR dictionary; and the sparse coding coefficients are then used together with the corresponding HR dictionary to reconstruct the HR patch. In order to choose the best dictionary in sense of direction, a dictionary selection model is needed. Many approaches are tried to find the best dictionary selection method which are mostly error based. But it is not an easy issue while the LR patches (features) are the main criteria to select the most appropriate HR dictionary; it does not always yield to correct selection. However the core idea of the proposed method, designing structurally directional dictionaries, is demonstrated to have superior results compared to the state-of-the-art algorithm proposed by R. Zeyde et.al [23], both visually and quantitatively with an average of 0.2 dB improvements in PSNR over Kodak set and some bench mark images. Keywords: super resolution, sparse representation, structurally directional dictionary.

…………………………………………………………………………………………………………………………

ÖZ: Bu tez çalışmasında, düşük çözünürlüklü tek bir giriş görüntüsü mükemmel bir şeklilde dönüştürülmek üzere yapısal yönlü sözlükler kullanılarak bir seyrek tasarım algoritması tasarlanmıştır. Çalışmada, tüm parçalar için global bir sözlük yerine, farklı parça kümeleri için yapılandırılmış sözlüklerin tasarlanması üzerinde yoğunlaşılmıştır. Görüntü içeriğinin çok yönlü yapısı nedeniyle yapısal yönlü sözlüklerin tasarımı gerçek görüntü karakteristiklerinin daha iyi bir şekilde ele alınmasını sağlamaktadır. Ayrıca çok daha küçük boyutlara sahip çoklu sözlüklerin tasarımı daha düşük hesaplama karmaşıklığına yol açmaktadır. Tasarlanan algoritma, uzaysal alanda sözlük öğrenimine dayanmaktadır. Sözlüklerin tasarlanması amacıyla K-SVD algoritması kullanılmış olup bu amaç ile her bir yapılandırılmış sözlük için yapılandırılmış bir çalışma seti hazırlanmıştır. Parçaların farklı veri grupları arasında sınıflandırılması amacıyla bir şablon seti tasarlanmış olup şablon eşleştirmesi kullanılarak her bir parça toparlanmıştır. Şablonların her biri belirli bir yön dikkate alınarak modellenmiştir. Daha sonra bir benzerlik ölçümü yardımıyla, yüksek çözünürlüklü parçalar ve bunlara karşılık gelen özellikler (düşük çözünürlüklü parçalar) yönlü kümelerde toplanmıştır. Daha sonra ise yapısal yönlü sözlükler K-SVD algoritması üzerinden yapılandırılmış çalışma kümelerinden yararlanılarak öğrenilmiştir. Her bir küme için, biri yüksek çözünürlüklü parçalar için ve diğeri özellikler için olmak üzere iki sözlük tasarlanmıştır. Yeniden yapılandırma kısmında, düşük çözünürlüklü bir giriş görüntüsü giriş yapıp tüm özellikler en uygun yönlü düşük çözünürlüklü sözlük yardımıyla seyrek bir şekilde kodlanmakta ve daha sonra ise, yüksek çözünürlüklü parçanın yeniden yapılandırılması amacıyla, ilgili yüksek çözünürlüklü sözlük ile seyrek kodlama katsayıları birlikte kullanılmaktadır. Yön açısından en iyi sözlüğün seçilmesi amacıyla bir sözlük seçim modeline gereksinim duyulmaktadır. En iyi sözlük seçim yönteminin bulunması amacıyla çoğunlukla hata bazlı olan birçok yöntem denenmiştir. Ancak bu kolay bir konu olmayıp düşük çözünürlüklü parçalar (özellikler) en uyugn yüksek çözünürlüklü sözlüğün temel seçim kriteri olduğu sürece her zaman doğru seçim ile sonuçlanmamaktadır. Ancak yine de tanıtılan yöntemin temel fikri olan yapısal yönlü sözlüklerin tasarımının, model seçiminin her zaman en uygun sözlüğü seçmesi halinde, Kodak seti ve bazı kriter görüntüler üzerinden PSNR’da ortalama 0.2 dB iyileştirme ile hem görsel hem de nicel olmak üzere iki açıdan R. Zeyde et.al [23], tarafından öne sürülen benzer algortimaya üstünlük sağladığı gösterilmiştir. Anahtar Kelimeler: süper çözünürlük, seyrek gösterim, yapısal yönlü sözlük.