A CNN Based Single Image Super-Resolution Using Residual Networks With Non-Local Multiple Image Phases

Abstract

Image-super resolution is a fast-growing research field that has been enhanced by the introduction of deep learning methods that achieved greater results and performance. Convolutional deep networks that utilize residual architecture have shown the best performance. One of the best models that use this architecture is the EDSR model [16], which showed a great result in extracting and reconstructing images but the features that it extracts are not always optimal due to the locality of the convolutional window which might result in missing some general key features about the image from the areas outside the convolution kernel of the image. In this project, we propose an improvement on the convolutional network architecture that uses residual blocks to detect the local features of the image by adding a phased version of the input that will add the missing nonlocal features and improve the quality of the feature space that will result in a better reconstruction. We achieved our objective by introducing a new phasor block to the model which will create different perspectives of the image which we trained using a smaller version of EDSR for each phase then concatenated the results of the original and the phases into one big feature space containing deep and shallow features which enhanced the reconstruction of the image. Keywords: Convolutional Networks, Residual Networks, EDSR, Phasor

ÖZ: Görüntü ivuper çözünürlüğü, daha büyük sonuçlar ve performans elde eden derin öğrenme yöntemlerinin tanıtılmasıyla geliştirilmiş, hızla büyüyen bir araştırma alanıdır. Artık mimariyi kullanan evrişimli derin ağlar en iyi performansı göstermiştir. Bu mimariyi kullanan en iyi modellerden biri, görüntülerin çıkarılması ve yeniden yapılandırılmasında harika bir sonuç gösteren EDSR modelidir[16], ancak çıkardığı özellikler, kayıpla sonuçlanabilecek evrişim penceresinin yerelliği nedeniyle her zaman optimal değildir. Görüntünün evrişim çekirdeğinin dışındaki alanlardan görüntü hakkında bazı genel temel özellikler. Bu projede, eksik yerel olmayan özellikleri ekleyecek ve özellik uzayının kalitesini artıracak girdinin aşamalı bir sürümünü ekleyerek görüntünün yerel özelliklerini algılamak için artık blokları kullanan evrişimli ağ mimarisinde bir iyileştirme öneriyoruz. Daha iyi bir yeniden yapılanma ile sonuçlanacaktır. Her aşama için daha küçük bir EDSR sürümü kullanarak eğittiğimiz görüntünün farklı perspektiflerini yaratacak modele yeni bir fazör bloğu ekleyerek hedefimize ulaştık, ardından orijinalin ve fazların sonuçlarını derin içeren tek bir büyük özellik alanında birleştirdik. Ye görüntünün yeniden yapılandırılmasını geliştiren sığ özellikler. Anahtar Kelimeler: Evrişimli Ağlar, Artık Ağlar, EDSR, Fazör