ER-FusNet: RGB–주파수 이중 스트림의 MLP 후기 융합을 이용한 딥페이크 탐지

Abstract

최근 딥페이크 고도화에 따른 탐지 모델의 일반화 성능 확보를 위해, 본 연구는 RGB와 DCT 기반 주파수 단서를 교차 어텐션으로 융합하는 이중 스트림 모델 ER-FusNet을 제안한다. 본 모델은 전역 시각 정보를 추출하는 EfficientNet과 주파수 영역의 미세 변조 흔적을 분석하는 RepLKNet을 결합하여 특징 간 상보적 시너지를 극대화한다. 교차 데이터셋 실험 결과, Celeb-DF v2 등에서 0.92~0.99의 F1 스코어를 달성하였으며, 실제 환경인 WildDeepfake에서는 단일 스트림 대비 F1을 0.53에서 0.65로 약 12% 향상시키며 범용적 탐지 역량을 입증하였다. 이는 공간·주파수 도메인의 적응적 융합이 미학습 데이터에 대한 강건성 확보의 주요 기제임을 시사하며, 진화하는 딥페이크 위협에 대응하여 탐지 신뢰성을 높이는 데 기여할 수 있음을 보여준다.