멀티모달 데이터를 활용한 멀티 헤드 크로스 어텐션 기반 피부 병변 분류 모델

Abstract

본 논문에서는 멀티모달 데이터를 활용한 피부 병변 분류 모델을 제안한다. 피부 병변의 정확한 진단을 위해 병변 이미지, 병변 마스크 이미지, 메타데이터를 결합하고 멀티 헤드 크로스 어텐션 메커니즘을 적용하였다. ISIC(International Skin Imaging Collaboration) 데이터셋에서 추출한 26,526개의 데이터와 5개의 피부 병변 클래스를 활용하여 모델 학습과 분류 실험을 수행하였다. 제안된 모델은 단일 모델 대비 정확도에서 2.5%p, F1-Score에서 2.7%p 향상된 성능을 보였다. 또한, ROC(Receiver Operating Characteristic) 커브 분석 결과, 제안된 모델은 각 클래스의 AUC(Area Under the Curve)의 평균값은 0.98 이상으로, 피부 병변 분류에서 효과적임을 확인하였다. 이는 멀티모달 데이터를 결합하여 보다 정확한 피부 병변 분류가 가능함을 시사한다.

In this paper, we propose a skin lesion classification model utilizing multimodal data. For accurate diagnosis of skin lesions, we combined lesion images, lesion mask images, and metadata, and applied a multi-head cross-attention mechanism. We conducted model training and classification experiments using 26,526 data points and 5 skin lesion classes compiled from the International Skin Imaging Collaboration dataset. Our proposed model showed an improvement of 2.5 percentage points in accuracy and 2.7 percentage points in F1-Score compared to single models. Additionally, analysis of the Receiver Operating Characteristic curve indicated that the proposed model achieved an average Area Under the Curve value of over 0.98 for each class, confirming its effectiveness in skin lesion classification. This suggests that more accurate skin lesion classification is possible by combining multimodal data.