유사 홀로그램과 LSTM을 이용한 3D 수화 교육 시스템 개발 및 평가

Abstract

청각장애인의 의사소통 제약을 개선하기 위해 비청각장애인들도 쉽게 익힐 수 있는 수화 교육 시스템을 제안한다. 이 시스템은 기존 연구들의 3차원 시각적 특성 반영 한계를 극복하고자 유사 홀로그램을 이용하고, 립모션 장치와 순환 신경망(RNN)을 결합하여 구성하였다. 학습자가 손동작을 수행하는 홀로그램 화면을 보며 실습으로 수화를 배우고, 평가를 통해 능력 향상을 확인할 수 있도록 한다. 정답 판별을 위한 수화 인식 모델은 RNN, LSTM, BiLSTM을 각각 학습한 후 성능을 비교하여 F1 스코어 0.9451로 가장 우수한 성능을 보인 LSTM을 선정하였다. 수화 교육 시스템의 모델 성능을 평가하고, 사용자의 테스트 및 설문 조사를 수행하여 흥미 유발과 만족도를 평가한다. 궁극적으로 이 수화 교육 시스템을 통해 비청각장애인의 수화에 대한 인식 향상에 기여하고자 한다.