심층 Q신경망을 이용한 주가지수 트레이딩 최적화 성능평가

Abstract

한국에서 기준금리 ‘연 0.50%’ 시대가 이어지면서 2%를 웃도는 예·적금 금리상품은 거의 존재하지 않고, 계속되는 코로나 19 팬데믹으로부터의 경제회복에 대한 전망은 갈리는 것으로 분석이 나오고 있다. 이러한 국내·외 경제환경에 목돈 마련과 노후 대비를 위해서 금융투자가 필수가 된 상황이다. 2016년 구글(Google)의 알파고(AlphaGo)가 이세돌과의 바둑대전에서 우승한 이후 금융권에서는 인공지능과 투자자문 전문가의 합성어인 로보어드바이저(Robo-Advisor)에 관심이 높아지면서 인공지능 기반의 자산관리 서비스 제공을 위한 스타트업(Startup)기업들이 생겨나고, 주요 은행들은인공지능 금융 서비스 고도화를 위한 업무협약이 활발하게 진행되고 있다. 더불어 대한민국 정부도 핀테크(FinTech)를 더욱 활성화하는 내용의 전자금융거래법 개정을 추진하고 있다. 이처럼 디지털 자산관리(Digital Asset Management)에 대한 중요성이 커지면서 로보어드바이저 산업의 장기적 성장성은 매우 높을 것으로 예상된다. 하지만 로보어드바이저를 이용한 디지털 자산관리가 아직 충분히 검증된 상태가 아니고, 인공신경망(Artificial Neural Network)을 포함한 강화학습(Reinforcemen Learning)과 금융(Finance)가 연계된 연구들은 많이 이뤄지지 않고 있는 상태이다. 더불어 많은 분야에 적용되는 인공지능이지만, 특정 분야와 산업에 적용에 있어 인공지능 성능에 직·간접적인 영향을 미치는 여러 요인들에 대한 파악과 이해를 위해 다양한 연구와 시도가 필요하다. 본 연구에서는 최적화 알고리즘(Optimization Algorithm)에 따른 심층강화학습(Deep Reinforcement Learning)모형기반의 주가지수 매매성능을 비교 분석한다. 분석 결과, 일반적으로 성능이 뛰어나다고 알려진 Adam과 다르게 주가지수 데이터에 대한 심층 Q-신경망 학습성능에서는 RMSprop, Adam 그리고 AdaGrad순으로 학습 성능을 지니고 있는 것으로 나타났다. 이를 통해 특히 RMSProp이 직간접적으로 서로 복잡하게 얽혀 있는 수많은 변수들에 의해 불규칙하게 변화하는 한국주식시장 환경에서 보다 잘 작동한다 높은 학습 효과를 확인할 수 있다. 더불어 최근까지 운동량(Momentum)개념과 적응형 방법(Adaptive Method)을 이용한 Adam의 우수한 학습성능도 더불어 확인할 수 있다. 둘째, 이동평균수렴확산과 볼린저밴드를 지표를 이용한 AdaGrad의 경우, 학습은 10개의 학습진행(Episode)이 채 학습하기도 전에 달성할 수 있었던 반면, 이동평균수렴확산 지표만을 이용한 AdaGrad의 경우, 상대적으로 오랜 학습진행이 필요했다. 마지막으로 이동평균수렴확산과 이동평균수렴확산과 볼린저밴드를 합한 기술적 분석 지표을 비교해보면, 이동평균수렴확산과 볼린저밴드를 합한 기술적 분석 지표를 입력층의 입력데이터로 사용할 때가 이동평균수렴확산을 단독으로 사용하는 것보다 학습진행에 따른 누적보상값(Rewad)이 높음을 알 수 있다. 이런 맥락에서 심층 Q-신경망을 이용한 주가지수 트레이딩 최적화 성능평가에 관한 연구는 학문적으로 중요한 연구주제가 될 뿐 아니라 현업의 로보어드바이저 고도화에도 중요한 관심 대상이 된다.