Single Image Super-Resolution with Convolutional layers

Single Image Super-Resolution with Convolutional layers

 

SRCNN

 

SRCNN은 convolutional layers를 이용하여 super resolution을 진행하는 매우 단순한 모델이지만 처음으로 super-resolution 분야에 convolutional layer를 사용한 모델이다. 3개의 layer를 가지고 있으며 feature extraction과 mapping, reconstruction으로 나뉘게 된다. Patch extraction은 보통 우리가 알고 있는 convolutional layer를 적용시킨 부분으로 feature를 뽑아내는 과정이고, Non-linear mapping은 1X1 convolution을 적용시키는 과정, 마지막으로 reconstruction은 linear mapping으로 한 점의 pixel 값을 계산하게 된다.

 

 

VDSR

 

 

VDSR은 SRCNN에서 발전하여 더 큰 receptive fields와 더 깊은 layer (20개)를 쌓아서 만들어졌다. 또한 learning rate decay를 주어 학습이 용이하도록 설계되었다. 이는 VGG 모델의 형태를 기반으로 만들어졌다. 마지막 layer를 residual layer의 모습으로 high resolution의 이미지와 low resolution의 이미지의 차를 이용하여 나타낸다. 따라서 low resolution과 high resolution의 차이를 잘 알아낼 수 있도록 convolution layer가 학습을 하는 것으로 해석할 수 있다. 따라서 경계부분에 대한 학습이 SRCNN보다 더 정교하게 나타날 수 있음을 의미한다.

 

* 형상이 개선되었는지를 평가하는 방법

PSNR (Peak Signal-to-Noise Ratio)

: 최대 신호 대 잡음비 (영상 화질 손실정보에 대한 평가)

SSIM (structural similarity index)

: 밝기, 명암, 구조를 조합하여 두 영상의 유사도 평가

IFC (Information fidelity criterion)

: 서로 다른 두 확률분포에 대한 의존도 평가

 

 

reference

- 'Image Super-Resolution Using Deep Convolutional Networks' paper

- 'Accurate Image Super-Resolution Using Very Deep Convolutional Networks' paper