심층 결정론적 정책 경사모형 기반 포트폴리오 연구

Abstract

최근 심층 강화학습을 게임, 로보틱스, 자율주행, 데이터 냉방 솔루션 등 여러 분야에 활용하고 있다. 강화학습은 정책을 스스로 결정할 수 있는 알고리즘으로 지속적인 감독 없이 자동화된 방식으로 포트폴리오의 자산 배분을 수행할 수 있다. 본 연구에서는 활성화 함수에 따른 심층 결정론적 정책 경사모형 기반의 포트폴리오 성능을 비교 분석하였다. 본 연구의 분석 결과, 심층 결정론적 정책 경사모형 기반 포트폴리오의 샤프지수가 벤치마크보다 더 높은 수치를 기록했다. 이는 심층 결정론적 정책 경사모형이 액터-크리틱 모형 기반으로 학습하기 때문에 동작 확률분포로 동작을 선택해 보상을 받는다. 그리고 이것을 상태 가치와 비교하여 이익 계산을 하므로 최적의 정책을 학습시킬 확률이 높아졌다고 판단된다. 하지만 정류 선형 단위, 누출 정류 선형 단위 그리고 지수 선형 단위 활성화 함수를 비교한 결과, 대부분의 활성화 함수에서 비슷한 성능을 보였다. 이런 맥락에서 심층 강화학습에 미치는 영향을 검증하는 것은 금융산업에서도 중요한 관심 대상이 된다.