상세 보기
ER-FusNet: RGB–주파수 이중 스트림의 MLP 후기 융합을 이용한 딥페이크 탐지
ER-FusNet: Two-Stream RGB–Frequency with MLP Late Fusion for Deepfake Detection
- 하유진;
- 박수진;
- 박종찬;
- 김건우
초록
최근 딥페이크 고도화에 따른 탐지 모델의 일반화 성능 확보를 위해, 본 연구는 RGB와 DCT 기반 주파수 단서를 교차 어텐션으로 융합하는 이중 스트림 모델 ER-FusNet을 제안한다. 본 모델은 전역 시각 정보를 추출하는 EfficientNet과 주파수 영역의 미세 변조 흔적을 분석하는 RepLKNet을 결합하여 특징 간 상보적 시너지를 극대화한다. 교차 데이터셋 실험 결과, Celeb-DF v2 등에서 0.92~0.99의 F1 스코어를 달성하였으며, 실제 환경인 WildDeepfake에서는 단일 스트림 대비 F1을 0.53에서 0.65로 약 12% 향상시키며 범용적 탐지 역량을 입증하였다. 이는 공간·주파수 도메인의 적응적 융합이 미학습 데이터에 대한 강건성 확보의 주요 기제임을 시사하며, 진화하는 딥페이크 위협에 대응하여 탐지 신뢰성을 높이는 데 기여할 수 있음을 보여준다.
키워드
deepfake detection; dual-stream architecture; frequency domain; late fusion; cross-dataset generalization; .
- 제목
- ER-FusNet: RGB–주파수 이중 스트림의 MLP 후기 융합을 이용한 딥페이크 탐지
- 제목 (타언어)
- ER-FusNet: Two-Stream RGB–Frequency with MLP Late Fusion for Deepfake Detection
- 저자
- 하유진; 박수진; 박종찬; 김건우
- 발행일
- 2026-01
- 유형
- Y
- 저널명
- 한국정보기술학회논문지
- 권
- 24
- 호
- 1
- 페이지
- 1 ~ 13