Structural Dictionary Learning and Sparse Representation with Signal and Image Processing Applications

Abstract

The success of sparse representation as a signal representation mechanism has been well-acknowledged in various signal and image processing applications, leading to the state-of-the-art performances. Flexibility and local adaptivity form the main advantage of this representation. It has been widely acknowledged that dictionary design (number of dictionaries, and the number of atoms in a dictionary) has strong implications on the whole representation process. This thesis addresses sparse representation over multiple learned dictionaries aiming at enhancing the representation quality and reducing the computational complexity. The first contribution in this work is performing dictionary learning and sparse repre-sentation in the wavelet domain, merging the desirable attributes of wavelet transform with the representation power of learned dictionaries. Simulations conducted over the problem of single-image super-resolution show that this representation framework is able to improve the representation quality while reducing the computational cost. Our second contribution is a variable patch size sparse representation paradigm. In this setting, the size of the patch is adaptively determined to enhance the quality of sparse representation. The third contribution is a strategy for designing directionally-structured dictionaries via subspace projections. Experimental results show that this strategy improves the quality of sparse representation at reduced computational complexity. The fourth and major contribution is a strategy for residual component-based multiple structured dictionary learning. In this work, we show that a signal and its residual components subject to a sparse coding algorithm do not necessarily follow the same model, as commonly assumed in the multiple dictionary approaches in the literature so far. Accordingly, we propose a mechanism whereby training signal can potentially contribute to the learning of several dictionaries, based on the structure of each of its residual components. This strategy is shown to significantly improve the representation quality while using compact dictionaries. The final contribution in this thesis aims at improving the representation quality of a learned dictionary by performing a second dictionary learning pass over the residual components of the training set. Simulations show that this learning strategy improves the quality of sparse representation. Keywords: Sparse representation, dictionary learning, multiple dictionaries, residual components, structured dictionaries.

Seyrek sinyal temsiliyetinin farklı sinyal ve görüntü işleme uygulamalarındaki başarımı kabul görmektedir. Bu yötemin temel özelliği bir sözlükten seçilen birkaç prototip sinyal (atom) ile sinyallerin temsil edilmesidir. Bu yöntemin temel avantajı sinyallere uygulanabilir bir yapıya sahip olmasıdır. Sözlük tasarımı (sözlük ve atom sayıları) ve kullanımı sinyal temsiliyetinde büyük önem arzetmektedir. Bu tezdeki çalışmalar çoklu sözlükler kullanarak hem sinyal temsiliyetinde kaliteyi artırmayı ve hasaplama karmasıklığını azaltmayı hedeflemektedir. Birinci katkı sözlük öğrenme yönteminin dalgacık dönüşümü ile yapılmasıdır. Dalgacık dönüşümünün birçok özelliğinden faydalanarak sözlükler dalgacık alanında öğrenilmiştir. Tek görüntünün çözünürlüğünün artırılması konusunda elde edilen sonuçlarla hem kalitenin arttığı hem hasaplama karmaşıklığının azaldığı gösterilmiştir. Tezdeki ikinci katki temsiliyet kalitesinin artırılması için sözlüklerin değişken yama boyutu kullanarak öğrenilmesidir. Temisilyet kalitesi en iyi yama boyutu seçilerek iyileştirilmiştir. Üçüncü katkı yansıtma operatörleri kullanarak değişik yönlere sahip çoklu sözlük öğrenme yöntemi ve bu yönteme dayalı sinyal temsiliyet algoritması geliştirilmesidir. Sinyal temsiliyetinde önerilen yöntemin hem kaliteyi hem de hesaplama karmaşıklığını iyileştirdiği gözlemlenmiştir. Tezde yapılan dördüncü katkı artık bileşenler tabanında çoklu ve yapısal özelliklere sahip sözlüklerin tasarlanmasdır. Öncelikle bir sinyalin ve onun artık bileşenlerinin farklı yapılarda olduğu gösterilmiştir. Bu gerçekten yola çıkarak artık bileşen sinyalleri kullanarak yeni bir çoklu yapısal sözlük öğrenme yöntemi önerilmiştir. Önerilen öğrenme yöntemine dayalı sinyal temsiliyet yöntemi de önerilmiştir. Önerilen yöntem ile bir sinyal birden fazla sözlüğün uyarlanmasına katkı yapabileceği gibi temsiliyet safhasında herhangi bir sinyal farklı yapısal özelliklere sahip sözlüklerden atomlar kullanılarak temsil edilebilmektedir. Önerilen yöntemin sinyal temsiliyetinde önemli iyiles¸tirmeler sağladığı gösterilmiştir. Bu tezdeki beşinci ve son katkı ise öğgrenilen sözlüğün temsiliyet kalitesini artırmak için hata sinyallerini kullanarak ikinci bir öğrenme safhası kullanmaktır. İkinci safhadaki öğrenmede problemi Lagrange en iyileme yöntemi ile çözülmüştür. İkinci safhadaki öğrenmede öğrenilen sözlüklerin ilk safhadaki kaliteyi düşüremeyeceği sınırlaması getirilmiştir. Lagrange çarpanları yöntemi ve çizgi arama (line search) yöntemi kullanılmıştır. Yapılan simulasyonlar temsiliyet kalitesinin artıtrılabildiğini göstermiştir. AnahtarKelimeler: Seyrek temsiliyet, sözlük öğgrenme, çoklu sözlükler, artık bileşenler, yapısal sözlükler.