Single Image Super-Resolution Based on Sparse Representation Via Structurally Directional Dictionaries in Wavelet Domain

Abstract

The main aim of super-resolution is reconstructing a higher resolution image by combining a set of lower resolution images (classical approach) or from a single image. In this thesis a framework on Single Image Super-Resolution (SISR) based on sparse coding over structurally directional dictionaries has been presented. The motivation behind structurally directional dictionaries is the fact that images contain directional structures such as edges. A dictionary assigned to a specific direction promises to offer a better representation for directional features. The approach that leads to directional dictionaries is classifying the training data into directional classes. The design of the directional dictionaries is done in the wavelet domain; by reason of the fundamental theory about the wavelet which it categorizes the data into directional subbands. Here the training set is formed by the patches of the first and second level Discrete Wavelet Transform (DWT) subbands of natural images which are prepared for training process, in two levels of resolution (high and low resolution respectively). To categorize the training set into directions, several predetermined categories of patches called templates respect to the desired directions as a criterion of comparison are generated. Several classification techniques are studied and the best one which is based on templates matching is chosen. After classifying every high and low resolution training patches into their corresponding categories, K-SVD algorithm is used to learn several pairs of high and low resolution dictionaries over the categorized data. On the other hand for reconstructing the high resolution patch given the low resolution one, in order to find sparse coefficients Orthogonal Matching Pursuit (OMP) algorithm is applied to low resolution dictionaries. After choosing the most proper low resolution dictionary among all the presented dictionaries based on the least square error between the main LR patch and reconstructed LR patches, the corresponding high resolution dictionary and same sparse coefficient is used to reconstruct the high resolution patch and finally acquire the super-resolved image. Quantitative results obtained from simulations has showed that the proposed algorithm indicates an average PSNR raise of 0.2 dB over the Kodak set compared with the images yield by other state of the art methods. Also the qualitative result is shown that the proposed algorithm plays a greater role in reconstructing images with more directional structures, or directional parts of natural images. Keywords: Single Image Super Resolution; Sparse Representation; dictionary learning; directional dictionaries; classifying patches

ÖZ; Görüntü süper çözünürlüğünün asıl amacı, daha düşük kalitede elde edilmiş görüntüleri klasik yöntem kullanılarak ya da daha yaygın olarak kullanılan tek bir görüntüyü kendisiyle birleştirme yöntemi kullanılarak daha iyi çözünülüğe sahip olan görüntüler oluşturmaktır. Bu tezde, yapısal yönlü sözlüklerin dağınık kodlaması temeline dayanan tek görüntü süper çözünürlük metodu çalışılmıştır. Yapısal yönlü sözlüklerin kullanılmasındaki motivasyon, görüntülerin kenarlarda olduğu gibi yönlü yapılar içermesine dayanmaktadır. Belirli bir yöne atanmış olan bir sözlük, yönlü özellikler için daha iyi bir gösterim sağlamaktadır. Yönlü sözlükler kullanılmasının amacı eğitme verilerinin yönlü sınıflara ayrılmasıdır. Yönlü sözlüklerin tasarımı, verileri yönlü altbantlara ayıran temel dalga teorisi göz önünde bulundurularak dalga alanında yapılmıştır. Bu çalışmada, eğitme verileri iki çözünürlük seviyesinde (yüksek ve düsük çözünürlükler sırasında) olmak üzere eğitme süreci için hazırlanan doğal görüntülerin birinci ve ikinci seviye DWT altbantları yamalarıyla düzenlenmiştir. Eğitme verilerini yönlere ayırmak için, istenilen yönlerin bir karşılaştırma kriteri olarak kullanıldığı şablon diye adlandırılan yamaların önceden tanımlanmış birçok kategorisi oluşturulmuştur. Bilim dünyasında çeşitli sınıflandırma teknikleri çalışılmaktadır ancak bu tezde sınıflandırma için en iyi metod olan şablon eşleştirme yöntemi kullanılmıştır. Her bir alçak ve yüksek çözünürlüklü eğitme yamaları ilgili kategorilere ayrıldıktan sonra, sınıflandırılmış veriler arasından yüksek ve alçak çözünürlüklü sözlük çiftlerini öğrenmek için K-SVD algoritması kullanılmıştır. Öte yandan, verilen alçak çözünürlüklü yamadan yüksek çözünürlüklü olanı oluşturabilmek ve dağınıklık katsayılarını hesaplayabilmek için, düşük çözünürlüklü sözlüklere OMP algoritması uygulanmıştır. Asıl ve oluşturulmuş LR yamaları arasındaki en küçük kareler hatasına dayanan mevcut sözlüklerin arasından en uygun alçak çözünürlüklü olanlarını seçtikten sonra, yüksek çözünürlüklü yamayı oluşturmak ve nihayetinde süper çözünümlü görüntüyü elde etmek için ilgili yüksek çözünürlüklü sözlük ve aynı dağınıklık katsayısı kullanılmıştır. Benzetim sonunda elde edilen sayısal sonuçlar, Kodak setiyle diğer bilinen metodların verdiği görüntü sonuçları karşılaştırıldığında, önerilen algoritmanın Kodak setinde ortalama PSNR’de 0.2 dB’lik bir iyilişme yarattığını göstermektedir. Ayrıca, nitel sonuçlar da önerilen algoritmanın cok yönlü yapılarla veya doğal görüntülerin yönlü kısımlarıyla görüntü oluşturmada önemli bir rol oynadığını göstermektedir. Anahtar Kelimeler: Tek Görüntü Super Çözünürlüğü, Dağınık Gösterim, Sözlük Öğrenimi, Yönlü Sözlükler, Yama Sınıflandırması