Watch My Wrist: 증강현실 환경에서 카메라 시야를 벗어난 손동작 인식을 위한 손목 근육 움직임 기반 예측

Abstract

증강현실(AR, Augmented Reality) 기술의 발전으로 사용자들은 컨트롤러와 손을 이용하여 AR 장비와 상호작용하며 다양한 콘텐츠를 소비하고 있다. 그러나 손을 이용한 상호작용 과정에서 손동작이 AR 장비의 시야 안에 들어와야 한다는 한계가 존재한다. 본 논문에서는 이를 해결하기 위해 손목을 비롯한 팔의 일부 정보만을 활용하여 손동작을 예측할 방법과 이에 적합한 데이터셋의 구성을 제안하며, 실험을 통해 그 가능성을 검증한다. 이를 통해 AR 장비로 인한 동작 제약을 줄이고, 사용자가 더욱 자연스럽고 몰입감 있는 증강현실 경험을 할 수 있도록 하는 것을 목표로 한다.