Semi-Coupled Dictionary Learning for Single Image Super Resolution

Abstract

It has been demonstrated in the literature that patches from natural images could be sparsely represented by using an over-complete dictionary of atoms. In fact sparse coding and dictionary learning (DL) have been shown to be very effective in image reconstruction. Some recent sparse coding methods with applications to super-resolution include supervised dictionary learning (SDL), online dictionary learning (ODL) and coupled dictionary learning (CDL). CDL method assumes that the coefficients of the representation of the two spaces are equal. However this assumption is too strong to address the flexibility of image structures in different styles. In this thesis a semi-coupled dictionary learning (SCDL) method has been simulated for the task of single image super-resolution (SISR). SCDL method assumes that there exists a dictionary pair over which the representations of two styles have a stable mapping and makes use of a mapping function to couple the coefficients of the low resolution and high resolution data. While tackling the energy minimization problem, SCDL will divide the main function into 3 sub-problems, namely (i) sparse coding for training samples, (ii) dictionary updating and (iii) mapping updating. Once a mapping function T and two dictionaries DH and DL are initialized, the sparse coefficients for the two sets of data can be obtained and afterwards the dictionary pairs can be updated. Finally, one can update the mapping function T through coding coefficients and dictionary. During the synthesis process, a patch based sparse recovery approach is used with selective sparse coding. Each patch at hand is first tested to belong to a certain cluster using the approximate scale invariance feature, then the dictionary pairs along with the mapping functions of that cluster are used for its reconstruction. First the low resolution patches of sparse coefficients are calculated by the selected dictionary which has low resolution, then, the patches of high resolution is obtained by using the dictionary which has high resolution and sparse coefficients of low resolution. In this thesis, comparisons between the proposed and the CDL algorithms of Yang and Xu were carried out using two image sets, namely: Set-A and Set-B. Set A had 14 test images and Set-B was composed of 10 test images, however in Set-B 8 of the test images were selected from text images which are in grayscale or in colour tone. Results obtained for Set-A show that based on mean PSNR values Yang’s method is the third best and Xu’s method is the second best. The sharpness measure based SCDL method was seen to be 0.03dB better than Xu’s method. For set-B only the best performing two methods were compared and it was seen that the proposed method had 0.1664dB edge over Xu’s method. The thesis also tried justifying the results, by looking at PSD of individual images and by calculating sharpness based scale invariance percentage for patches that classify under a number of clusters. It was noted that when most of the frequency components were around the low frequency region the proposed method would outperform Xu’s method in terms of PSNR. For images with a wide range of frequency components (spread PSD) when the number of HR patches in clusters C2 and/or C3 was low and their corresponding SM-invariance ratios were also low then the proposed method will not be as successful as Xu’s method. Keywords: sparse representations, super-resolution, semi-coupled dictionary learning, power spectral density, scale invariance.

ÖZ : Literatürde gösterilmiştir ki doğal imgelerden alınan yamalar, boyutları resimdekinden daha büyük olan bir sözlükten alınacak öğeler ile seyrekçe betimlenebilmektedir. Aslında, seyrek betimleme ve sözlük öğrenme (DL) teknikleri imge geri çatımı için oldukça başarılıdırlar. Son zamanlarda önerilen ve yüksek çözünürlük uygulamaları bulunan seyrek betimleme metodları arasında güdümlü sözlük öğrenme (SDL), çevrim içi sözlük öğrenme (ODL) ve bağlantılı sözlük öğrenme (CDL) bulunmaktadır. Bu bağlantılı sözlük öğrenme yöntemi her iki alanın betimleyici katsayılarının eşit olduğunu varsaymaktadır. Ancak, bu varsayım farklı biçimleri bulunan imge yapılarını esnek bir şekilde anlatmak için çok güçlüdür. Bu tezde, sözü geçen SCDL tekniği SISR için uyarlanmış ve benzetim sonuçlarını yorumlamıştır. SCDL yöntemi her iki alanı birbirine bağlayan bir sözlük çifti bulunduğunu varsayan ve seyrek betimlemelerin birbiri ile eşleştirilebileceğini düşünüp, düşük ve yüksek çözünürlüklü verilerin katsayılarını birbirine eşleştirecek bir fonksiyon kullanan bir yöntemdir. Enerji enküçültme problemini çözmeye çalışan SCDL, problemi üç alt-probleme bölmektedir: (i) eğitim örnekleri ve seyrek betimleme, (ii) sözlük güncelleme ve (iii) eşleştirme fonksiyonu güncellemesi. Eşleştirme fonksiyonu W, DH ve DL sözlüklerinin ilklendirmesini mütakip her iki veri seti için seyrek betimleme katsayıları elde edilmekte ve daha sonra sözlük çiftleri güncellenmektedir. Son olarak da, elde edilen katsayılar ve sözlüklerin kullanımı ile eşleştirme fonksiyonu güncellenmektedir. Sentezleme esnasında eldeki her yamanın hangi topağa ait olduğu belirlenmekte ve daha sonra eşleştirme fonksiyonu ve sözlükler kullanılarak yamanın geri çatımı gerçekleştirilmektedir. Tezde, CDL tabanlı Yang ve Xu metodları ile önerilen yarı bağlantılı sözlük öğrenme yöntemi Set-A ve Set-B diye adlandırdığımız iki set imge kullanılarak kıyaslanmıştır. Set-A 14, Set-B ise 10 sınama imgesinden oluşmaktadır. Set-B deki imgelerden sekizi gri tonlu ve renkli yazı sınama imgeleri içermektedir. Set-A kullanıldığında elde edilen ortalama PSNR değerleri Yang metodunun en iyi üçüncü sonucu ve Xu metodunun da en iyi ikinci sonucu verdiği gözlemlenmiştir. Netlik ölçüsü tabanlı SCDL yönteminden elde edilen ortalama PSNR değeri Xu ya göre 0.03dB daha yukardadır. Set-B kullanılırken sadece en iyi başarımı göstermiş iki yöntem kıyaslanmıştır. Ortalama PSNR değerleri önerilen yöntemin Xu ya göre 0.166 dB daha iyi olduğunu göstermiştir. Tezde ayrıca güç spektal yoğunluğuna ve farklı topaklar altında düşen yamalar için netlike-ölçüsü değerleri aralıklarına bağlı olarak hesaplanan bir ölçü bağimsiz yüzdelik hesabı kullanılarak elde edilen sonuçlar yorumlanmıştır. Görülmüştür ki çoğu frekans bileşenleri düşük frekanslı olduğu zaman önerilen yöntem ortalama PSNR baz alındığında Xu ve Yang’dan daha iyi sonuç sağlamaktadır. Çok farklı frekans bileşenleri olan imgelerde ise (yayılmış PSD), C2 ve C3 topaklarına düşen HR yamaları ve bunlara denk gelen SM-değişimsizlik oranları düşük olduğu zaman önerilen yöntem en yakın rakibi Xu dan biraz daha kötü başarım göstermektedir. Anahtar kelimeler: seyrek betimlemeler, yüksek çözünürlülük, yarı-bağlaşımlı sözlük öğrenme, güç spectrum yoğunluğu, scale invariance.