Multidimensional Data Recovery via Iterative Regularization based on Higher Order Singular Value Decomposition

Abstract

With the recent advances of networking, sensors, and storage technologies, many mul- tidimentional datasets are being generated in various fields. These datasets are often incomplete or contaminated during the acquisition process. Recovering the missing or noise-free data from degraded observations thus becomes crucial to obtaining precise information to refer to. The aim of this thesis is towards restoration of multidimen- sional (tensor) data. Specifically, we consider three problems: 1) tensor inpainting, 2) magnetic resonance image denoising and, 3) hyperspectral image denoising. The theory of tensors has become popular in dealing with multidimensional data, due to the capability of tensors in exploiting additional structure in comparison with matrix based alternatives. The most commonly used decomposition of multidimensional data to date is higher order singular value decomposition (HOSVD). The HOSVD is an ef- ficient way for eliciting intrinsic structure of multidimensional data. It offers a simple, adaptive and natural way to exploit sparsity among all dimensions of multidimensional data. The HOSVD decomposes a particular tensor data into the product of a sparse ten- sor and a few orthogonal matrices, each of which captures the subspace information corresponding to one dimension. In this work, we solve the restoration problems by employing the HOSVD transform and by exploiting the sparsity of the multidimen- sional signals. We enforce the sparsity using iterative regularization technique, which is shown to be very effective for our problems. The first contribution of this work is employing the iterative regularization scheme for tensor inpainting. The rationale of this approach is based on an enhanced sparse rep- resentation in HOSVD domain and it uses the iterative regularization procedure for inpainting. Improved performances of this algorithm are demonstrated in our exper- iments on three dimensional tensors, taken from multi-channel (color) images, video sequences, and magnetic resonance images. The evaluation is made quantitatively in terms of peak signal-to-noise ratio and structural similarity index, and qualitatively via visual comparisons. Despite the success of magnetic resonance imaging techniques in many applications, acquisition noise is still a limiting factor for the quality and hence the usefulness of the techniques. Our second contribution is improving the application of the iterative higher order singular value decomposition framework to denoising the magnetic res- onance images. The proposed algorithm forms a single tensor from the noisy data. This tensor undergoes an HOSVD, where its sparse representation coefficients are cal- culated with respect to a set of directional orthogonal basis matrices. Denoising is achieved by iteratively applying soft thresholding on the calculated sparse representa- tion coefficients. The proposed algorithm is further enhanced with a post-process of Wiener filtering. The performance of the proposed method is evaluated using synthetic and real magnetic resonance images. Validation results and quantitative comparisons with the state-of-the-art in magnetic resonance image denoising clearly demonstrate the advantages of the proposed method. The hyperspectral data cube is considered as a three-order tensor that is able to jointly treat both the spatial and spectral dimensions. Noise in hyperspectral image can de- grade the visual quality and limit the applicability of computerized analysis processes. Hence, toward the third contribution we consider the denoising of the hyperspectral images to improve the performance of the subsequent applications. In this work, not only we use the proposed iterative higher order singular value decomposition, but also we go one step further and propose a new iterative denoising method which utilizes the advantages of the patch-based HOSVD sparse model and the iterative regularization technique. The experiments with both synthetic noisy data and real hyperspectral data reveal that the proposed iterative algorithm improves the hyperspectral data quality in terms of both quality metrics and visual inspection. The subsequent classification re- sults further validate the effectiveness of the proposed hyperspectral noise reduction algorithm. In conclusion, extensive experiments on synthetic and real world datasets have shown the competitive performance of the proposed algorithms for inpainting, magnetic reso- nance image denoising, and hyperspectral image denoising over existing state-of-the- art ones. Keywords: Denoising, higher order singular value decomposition, hyperspectral, iter- ative regularization, MR images, patch-based, soft thresholding, sparse representation, Tucker decomposition.

ÖZ: Son zamanlarda ağ oluşturma, sensörler, ve depolama teknolojileri alanında yaşanan ilerleme ve gelişmeler ile birlikte farklı alanlarda birçok çok-boyutlu veri seti oluşturulmuştur. Bu veri setleri çoğunlukla veri toplama süreci boyunca eksik kalmakta veya bozulmaktadır. Bu neden ile parazit içermeyen verilerin eksilen gözlemleme verilerinden geriye alınması, atıfta bulunmak üzere dakik bilgilerin elde edilmesi açısından oldukça önemlidir. Bu tez çalışmasının amacı çok-boyutlu (tensör) verilerin restorasyonu ve yeniden yapılandırılmasından ibarettir. Bu tez çalışmasında 3 problem özellikle dikkate alınmaktadır: 1) Tensör içboyaması, 2) manyetik yankılama görüntülerinin parazit temizlemesi, 3) aşırı spektral görüntülerin parazit temizlemesi. Tensör teorisi, tensörlerin matris bazlı alternatifler ile karşılaştırıldığında ek yapıları işleme kapasitesi nedeniyle çok-boyutlu verilerin işlenmesi için popüler hale gelmiştir. Günümüzde en yaygın olarak kullanılan çok-boyutlu veri ayrıştırma yöntemi üst seviye tekil değer ayrıştırmasıdır (ÜSTDA). ÜSTDA, çok-boyutlu verilerin içsel yapısının ortaya çıkarılması için etkin bir yöntemdir. Bu yöntem, çokboyutlu verilerin tüm boyutları arasında seyrekliğin işletilmesi için sade, uyarlanabilir ve doğal bir yöntem sunmaktadır. ÜSTDA belirli bir tensör verisini seyrek bir tensör ile her biri tek bir boyuta ait altuzay bilgilerini yansıtan birkaç ortogonal matrisin çarpımı halinde ayrıştırmaktadır. Bu çalışmada ÜSTDA dönüşümünden yararlanılarak ve çok-boyutlu sinyallerin seyrekliği işletilerek çözünürlük problemleri çözülmektedir. Seyreklik, problemlerimiz açısından çok etkili olduğu gösterilen tekrarlayan düzenleme tekniği kullanılarak uygulanmaktadır. Bu çalışmanın temel katkısı tensör içboyaması için tekrarlayan düzenleme planının kullanımından ibarettir. Bu yöntemin mantığı, ÜSTDA etkinlik alanında gelişmiş bir seyrek temsile dayalı olup içboyama için tekrarlayan düzenleme yöntemini kullanmaktadır. Bu algoritmanın geliştirilmiş performansı, çok kanallı (renkli) görüntüler, video dizinleri, ve manyetik yankılama görüntülerinden alınan üç boyutlu tensörler üzerindeki deneylerimizde gösterilmiştir. Değerlendirmeler nicel olarak en yüksek sinyal gürültü oranı ve yapısal benzerlik indeksi açısından ve nitel olarak ise görsel kıyaslama aracılığı ile gerçekleştirilmiştir. Manyetik yankılama görüntülerinin birçok uygulamadaki başarısına rağmen, veri toplama parazitleri kalite açısından halen sınırlandırıcı bir faktör olup dolayısıyla bu tekniklerin yararlı olmamasına neden olmaktadır. Bu tez çalışmasının ikinci katkısı ise manyetik yankılama görüntülerinin parazitlerden arındırılmaları amacıyla tekrarlayan üst seviye tekil değer ayrıştırma çerçevesinin uygulamasının geliştirilmesinden ibarettir. Önerilen algoritma parazitli veriden tek bir tensör oluşturmaktadır. Bu tensör, seyrek temsil katsayılarının bir takım yönlü ortogonal taban matrisi bakımından hesaplandığı bir ÜSTDA’ya maruz kalmaktadır. Parazit temizleme işlemi, hesaplanan seyrek temsil katsayıları üzerinde yumuşak eşiklemenin tekrarlanarak uygulanması yolu ile elde edilmektedir. Önerilen algoritma daha sonra Wiener filtreleme ile sağlanan ileri bir işlem ile geliştirilmektedir. Önerilen yöntemin performansı sentetik ve gerçek manyetik yankılama görüntüleri kullanılarak değerlendirilmektedir. Onaylama sonuçları ve manyetik yankılama görüntülerinin parazit temizleme alanındaki en son gelişmeler ile yapılan nicel karşılaştırmalar önerilen yöntemin avantajlarını açıkça ortaya çıkarmaktadır. Aşırı spektral veri küpü, hem uzaysal hem de spektral boyutları ortaklaşa bir şekilde işleme kabiliyeti olan üç dereceli bir tensör olarak dikkate alınmaktadır. Aşırı spektral bir görüntüdeki parazit, görsel kaliteyi düşürüp bilgisayarlı analiz işlemlerinin uygulanabilirliğini sınırlandırabilmektedir. Dolayısıyla üçüncü katkı olarak bu tez çalışmasında müteakip uygulamaların performansının geliştirilmesi amacıyla aşırı spektral görüntülerin parazitten arındırılması dikkate alınmıştır. Bu tez çalışmasında yalnızca önerilen tekrarlayan üst seviye tekil değer ayrıştırması dikkate alınmamış olup aynı zamanda bir adım ileriye giderek yama bazlı ÜSTDA seyrek model ile tekrarlayan düzenleme tekniğinin avantajlarını kullanan yeni bir tekrarlayan parazit temizleme yöntemi önerilmiştir. Hem sentetik parazitli veriler hem de gerçek aşırı spektral veriler üzerinde gerçekleştirilen deneylerin sonuçları önerilen tekrarlayan algoritmanın aşırı spektral veri kalitesini hem kalite ölçüleri hem de görsel inceleme açısından geliştirdiğini ortaya çıkarmaktadır. Müteakip sınıflandırma sonuçları daha sonra önerilen aşırı spektral parazit azaltma algoritmasının etkinliğini onaylamaktadır. Sonuç olarak sentetik ve gerçek veri setleri üzerinde gerçekleştirilen kapsamlı deneyler, içboyama, manyetik yankılama görüntülerinin parazit temizlemesi ve aşırı spektral görüntülerin parazit temizlemesi için önerilen algoritmaların ilgili alanlarda mevcut olan en son gelişmeler ile karşılaştırıldığında rekabet edebilir performansa sahip olduğunu göstermiştir. Anahtar Kelimeler: Parazit temizleme, üst seviye tekil değer ayrıştırması, aşırı spektral, tekrarlayan düzenleme, MR görüntüleri, yama bazlı, yumuşak eşikleme, seyrek temsil, Tucker ayrıştırması.