영상에서 효율적인 잡음제거를 위한 dRED-TL-GAN 모델

Abstract

영상에서 잡음은 시각적인 왜곡이나 불편을 주는 것 외에도 영상 시스템에서 성능 저하를 가져옴으로써 영상에서 잡음제거는 영상처리에서 중요한 전처리 과정이다. 본 논문에서는 영상에서 잡음제거를 위해 GAN 모델에서 파생된 DCGAN 기반의 deformable RED and transfer learning based generative adversarial networks (dRED-TL-GAN)모델을 제안하고자 한다. 제안된 dRED-TL-GAN 모델에서 생성자는 인코더-디코더 구조로 이루어진 deformable RED 구조이고, 판별자는 전이학습 기반 구조이다. 여기서 deformable RED 구조는 인코더의 컨볼루션 층에서 표준 컨볼루션 대신 deformable 컨볼루션을 사용하여 영상의 특징을 고려하였고, 판별자는 ResNet-18 모델을 사용하여 학습 속도와 분류 정확도를 높혔다. 본 논문에서 제안된 dRED-TL-GAN 모델의 성능 평가를 위해 전통적인 Mean 필터, Median 필터와 BM3D 필터, 그리고 기존 딥러닝의 DnCNN 모델, RED-CNN 모델 그리고 DCGAN 모델을 고려하였으며, 다양한 잡음 즉, 가우시안 잡음 (Gaussian noise), 포아송 잡음 (Poisson noise) 그리고 스펙클 잡음 (Speckle noise)으로 훼손된 얼굴 영상을 대상으로 실험하였다. 성능 실험은 정성적인 평가와 정량적인 평가로 구성되며, 정성적인 평가 결과, Mean 필터, Median 필터, 그리고 BM3D 필터를 포함한 공간 필터들은 대체로 잡음이 남아있고, 또한 흐릿한 영상을 얻었고, 제안된 dRED-TL-GAN 모델은 다른 딥러닝 모델보다 에지있는 선명한 영상을 얻었다. 또한, 정량적인 평가 척도인 Peak signal-to-noise ratio (PSNR), Mean squared error (MSE) 그리고 Structural similarity index measure (SSIM) 면에서 dRED-TL-GAN 모델은 모든 잡음과 모든 평가 척도에서 가장 좋은 성능 수치를 얻었다.