SAC 강화학습 알고리즘을 활용한 자산배분 전략에 관한 연구

Abstract

자산배분 전략은 비체계적 위험을 낮추기 위한 계량 모델로 해리 마코위츠가 현대 포트폴리오 이론을 기반으로 발전하였으며, 오늘날에는 다양한 통계 기법과 기계학습 기법에 따라 자산배분 전략을 수립하고 있다. 최근 기계학습 분야 중의 하나인 강화학습의 폭발적 성장을 통해 자산배분 전략 관련 국내 연구들이 수행되고 있지만, 여전히 미흡한 수준에서 벗어나지 못하고 있다. 본 연구는 최대 엔트로피 목적함수를 가진 SAC 강화학습 알고리즘을 사용한 자산배분 전략을 위험조정 수익 극대화 측면에서 계층적 위험 균형 자산배분 전략과 비교·분석하였다. 주요 실증분석 결과는 다음과 같다. 계층적 위험 균형 자산배분 전략과 SAC 강화학습 알고리즘을 활용한 자산배분 전략의 위험 대비 높은 투자 성능을 비교해 보면 계층적 위험 균형 자산배분 전략에서 낮은 성과를 보여 주었다. 이러한 결과는 SAC 강화학습 알고리즘의 최대 엔트로피 목적함수가 최적화와 준최적화를 통해 시장 환경의 변화를 감지하고 이에 신속히 대응해 시장의 위험 구조 및 수익률 간의 최적 균형을 도출해 내는 것으로 판단된다. 이로 인해 강화학습 에이전트는 수익 기회를 온전히 유지하면서도 변동성은 감소시키고 갑작스러운 손실 또한 방지할 수 있는 것이다. 둘째, 계층적 위험 균형 전략과 달리 비슷한 자산군의 특성으로 인해 계층별 차별화 정도가 크지 않아도 SAC 강화학습 알고리즘을 활용한 자산배분 전략에서 위험조정 수익 극대화를 보여 주었다. 이를 통해 주식 이외에 다양한 이종 자산으로 투자자산을 확대하지 않은 환경에서도 SAC 강화학습 알고리즘을 활용한 자산배분 전략이 잘 작동하는 것을 확인할 수 있었다. 이런 맥락에서 강화학습 알고리즘을 활용한 자산배분 전략에 관한 연구는 학문적으로 중요한 연구주제가 될 뿐 아니라 현업의 로보어드바이저 고도화에도 중요한 관심 대상이 된다.