로짓 분포 변환 기반 지식 증류를 통한 얼굴 파싱 기법

Abstract

얼굴 조작과 같은 응용 분야에서 얼굴 파싱(Face parsing)은 핵심적인 역할을 하며, 특히 에지(Edge) 디바이스나 실시간 추론 환경에서는 모델 경량화가 필수적이다. 그러나 로짓(Logit) 기반 지식 증류는 분류 문제에서는 피처맵 기반 방식과 함께 활발히 연구됐지만, 이를 얼굴 파싱 작업에 적용할 경우 공통 온도 설정 문제와 픽셀 간 정보 전달의 한계와 같은 과제가 존재한다. 본 연구에서는 얼굴 파싱 작업에 로짓 기반 지식 증류를 도입하며, 기존 방법의 한계를 분석하고 이를 개선한 로짓 분포 변환 기법을 제안한다. 이 기법은 공통 온도 문제를 완화하고, 학생 모델이 교사 모델로부터 픽셀 간 정보를 효과적으로 전달받을 수 있도록 설계되었다. CelebA-Mask-HQ 데이터셋을 활용한 실험 결과, 본 연구에서 제안한 기법이 경량화된 모델에서 평균적으로 약 0.5의 성능을 향상함을 확인하였다.