3D CNN-LSTM 알고리즘을 이용한 손동작 비디오 영상 분류

Abstract

손동작 인식은 이미지나 비디오 데이터로부터 인간의 동작 및 제스처를 식별하는 행동인식기술의 한 형태이다. 디지털 기술의 발전으로 제품에 스마트 기능이 추가되는 사례가 많아지면서 동작인식의 편리성과 효율성도 강조 되고 있다. 본 연구는 손동작 인식을 시도하기 위한 과정으로, 손동작을 기반으로 클래스를 나누어 각각의 클래스를 분류해내는 비디오 분류 연구를 진행한다. 비디오 영상 자체로 딥러닝 분류를 하게 되면 정확도도 높으며, 이미지를 통한 비디오 분류보다 다양한 분야에서 활용이 가능하다는 장점이 있다. 제시된 알고리즘은 3D CNN(Convolutional neural network)과 LSTM(Long Short-Term Memory)이 결합된 형태로 이루어져 있다. 개발한 3D CNN은 이미지나 비디오의 특징 추출에 주로 사용하는 2D CNN 중 ResNet-18의 구조에서 고안하였다. LSTM은 순차 데이터를 학습, 처리, 분류하는 데 주로 사용되고 있는 RNN(Recurrent Neural Network)중의 한 종류이다. 3D CNN을 통해 비디오의 특징을 추출하고, LSTM을 통해 추출된 특징의 시퀀스를 학습 후 각 비디오 시퀀스를 손동작의 변화를 기준으로 하는 다섯 가지 클래스로 분류하였으며 비디오 분류 결과 정확도 평균 87%를 보여 주었다.