Sparse Representation over Multiple Learned Dictionaries via the Gradient Operator Properties with Application to Single-Image Super-Resolution

Abstract

Single-image super-resolution is an ill-posed inverse problem that requires effective regularization. Super-resolution over learned dictionaries offers a successful framework for efficiently solving this problem exploiting the sparsity as regularizer. It is well acknowledged that the success of sparse representation comes as a direct consequence of the representation power of learned dictionaries. Along this trend, this thesis considers the problem of super-resolution via sparse representation, where representation is done over a set of compact high and low resolution cluster dictionaries. Such an approach inevitably calls for a model selection criteria both in the learning and reconstruction stages. The model selection criteria should have scale-invariance property so that link between low resolution and high resolution feature spaces is properly established. The main contribution in this thesis is to employ two approximately scale-invariant patch measures for the classification of image patches in the learning and reconstruction stages. These are the sharpness measure and the dominant phase angle defined in terms of the magnitude and phase of the gradient operator, respectively. These measures are empirically shown to have acceptable degrees of scale-invariance. i.e. sharpness measure and the dominant phase angle do not significantly change for two consecutive resolution levels. This invariance to a large extent ensures that model selection is correct in the reconstruction stage where one only knows the low resolution patch. Three super-resolution algorithms are proposed based on selective sparse coding over cluster dictionaries with the proposed measures, applied individually and combined together. In each algorithm, training data is clustered and a coupled dictionary pairs are learned for each cluster. In the learning stage any standard coupled dictionary learning algorithm can be used. In the reconstruction stage, the most appropriate dictionary pair is selected for each low resolution patch and the sparse coding coefficients with respect to the low resolution dictionary are calculated. The link between the low and high resolution feature spaces is the fact that the sparse representation coefficients of the high and low resolution patches are approximately equal. For the case of multiple structured dictionaries this link is also strengthened since the dictionaries are learned for structured feature spaces. Imposing this link, a high resolution patch estimate is obtained by multiplying the sparse coding coefficients with the corresponding high resolution dictionary. Quantitative and qualitative experiments conducted over natural images validate that each of the proposed algorithms is superior to the standard case of using a single dictionary pair, and is competitive with the state-of-the-art super-resolution algorithms. From the rate-distortion perspective, it is shown that computational complexity (rate) can be reduced significantly without a significant loss in quality. This is achieved due to the fact that the proposed clustering criterion lends itself nicely for identifying the patches that are un-sharp (with low frequency content). Such patches can be handled effectively using simple algorithm (computationally much less complex) such as bicubic interpolation instead of computationally expensive sparse representation. Specifically for a typical image, 73.03 % of the patches can be handled using bicubic interpolation without significant degradation in quality. Keywords: Single image super-resolution, sparse representation, dictionary learning, sharpness measure, gradient phase angle, coupled dictionaries.

ÖZ: Tek-görüntüden süper-çözünürlüğe sahip bir görüntü elde etme problemi kötü konumlanmış bir problemdir ve etkili bir şekilde düzenlileştirilmesi gerekmektedir. Öğrenilen sözlükler üzerinden süper-çözünürlük, bu problemin etkili bir şekilde çözülmesi için seyreklik kavramından düzenleyici olarak faydalanarak başarılı bir çerçeve sunmaktadır. Seyerek temsiliyetin başarısının öğrenilen sözlüklerin temsiliyet gücünün direkt bir sonucu olduğu aşikardır. Bir eğilim doğrultusunda seyrek temsiliyet ve buna bağlı olarak öğrenilen bu tez çalışması süper-çözünürlük problemini bir dizi yüksek ve düşük çözünürlüklü küme sözlükleri kullanarak geliştirmektedir. Birden fazla sözlük kulanma yaklaşımı kaçınılmaz olarak öğrenme ve yeniden yapılandırma aşamaları olmak üzere her aşamada bir model seçme kriterini gerektirmektedir. Düşük ve yüksek çözünürlüklü öznitelik uzayları arasındaki bağlantının uygun bir şekilde sağlanması için model seçme kriterinin ölçekten bağımsız bir özelliğe sahip olması gerekmektedir. Bu tez çalışmasının asıl katkısı öğrenme ve geri çatma (yeniden yapılandırma) safhalarında görüntü yamalarının sınıflandırılması maksadıyla iki tane ölçekten yaklaşık bağımsız kriterlerin kullanılmasıdır. Bu kriterler eğim operatörü kullanılarak tanımlanan keskinlik ölçüsü ve baskın faz açısıdır. Bahsi gereçen ölçülerin ölçekten yaklaşık olarak bağımsız oldukları kanıtlanmıştır. Bu veri iki ardışık çözünürlük seviyesindeki görüntü yamalarının hem keskinlik ölçüsü hem de baskın faz açısının önemli ölçüde değişim göstermediği anlamını taşımaktadır. Bu bağımsızlık büyük ölçüde kişinin yalnızca düşük çözünürlüklü görüntü yaması hakkında bilgi sahibi olduğu yeniden yapılandırma model seçiminin (yani yüksek çözünürlülük kümesinden hangisinin kullanılacağı) doğru olduğunu göstermektedir. Önerilen sınıflandırma ölçekleri ile birlikte küme sözlükleri üzerinde seçici seyrek kodlamaya dayalı üç süper çözünürlük algoritması önerilmiş olup her biri tek başına uygulanmış ve daha sonra birbirleri ile birleştirilerek daha sıradüzensel bir sınıflandırmaya dayalı süper-çözünürlük algoritması önerilmiştir. Her bir algoritmada, öğrenme verileri kümlenmiş olup her bir küme için o kümeye ait görüntü yamalarının öznitelik uzayları birbirine bağlantılı bir yöntem kullanılarak alçak ve yüksek çözünürlükte birer sözlük öğrenilmiştir. Öğrenme aşamasında herhangi bir standart bağlantılı sözlük öğrenme algoritması kullanılabilmektedir. Yeniden yapılandırma aşamasında her biri çözünürlüklü yama için en uygun sözlü çifti seçilmiş olup, düşük çözünürlüklü sözlük dikkate alınarak seyrek kodlama katsayıları hesaplanmıştır. Düşük ve yüksek çözünürlüklü öznitelik uzayları arasında bağlantı, düşük ve yüksek çözünürlüklü yamaların seyrek temsiliyet katsayılarının yaklaşık olarak eşit oldukları varsayımdır. Bu varsayım önerilen çoklu yapısal sınıflama yönteminden dolayı güçlenmektedir. Bu bağlantıdan yararlanılarak seyrek kodlama katsayıları ve ilgili yüksek çözünürlüklü sözlükler çarpılarak yüksek çözünürlüklü yama tahminleri elde edilmiştir. Doğal görüntüler üzerinde gerçekleştirilen ve niteliksel denemeler önerilmiş olan herhangi bir algoritmanın tek bir sözlük çiftinin kullanıldığı standart yöntemlere karşı üstünlük sağladığı ve gelişmiş süper-çözünürlük algoritmaları ile rekabet ettiğini onaylamaktadır. Hız-bozunum teorisi bakış açısından herhangi önemli bir kalite kaybı yaşanmadan hesaplama karmaşıklığının azaltılabildiği gösterilmiştir. Bu ise önerilen kümeleme kriterinin keskin olmayan (düşük frekans içerikli) yamaları kolayca belirlenmesine dayanmaktadır. Bu tür keskin olmayan yamalar, hesaplama açısından yüksek maliyetli seyrek temsiliyet yerine bikübrik ara değer bulma gibi basit algoritmalar (hesaplama açısından karmaşıklık derecesi çok daha düşük) kullanılarak etkili bir şekilde ele alınabilmektedir. Özellikle tipik görüntü için yamaların 96%’lık oranı bikübik ara değer kullanılarak kalitede herhangi önemli bir düşüş yaşanmadan ele alınabilmektedir. Anahtar Kelimler: Tek görüntü süper-çözünürlük, seyrek temsiliyet, çoklu sözlük öğrenimi, keskinlik ölçüsü, baskın faz açısı, bağlantılı sözlükler.