3차원 셀룰러 네트워크기법에서 분산 심층강화학습 기반 에너지 효율 최대화

Abstract

본 논문에서는 이동성을 지닌 지상 사용자에게 안정적인 공중-지상 통신 커버리지를 제공하기 위한 다중 unmanned aerial vehicle-base station(UBS) 기반 3차원 셀룰러 네트워크를 고려한다. 특히, UBS 네트워크의 매우 짧은 네트워크라이프타임 문제를 해결하기 위해서, 네트워크 전체 에너지 효율을 극대화할 수 있도록 UBS의 이동성 및 전송전력을제어하고자 한다. 하지만, 지상 사용자가 움직이는 동적 환경 문제를 기존 반복 및 최적화 기법으로 풀어내기에 그어려움이 존재한다. 따라서, 본 논문에서는 분산 deep Q-network(DQN) 기반 UBS 제어 방안을 제안한다. 그리고 분산학습의 강점을 보이기 위해, 두 가지 중앙집중형 학습 방안을 소개하고, 이 기법들과 다중-에이전트 분산 큐-러닝(multi-agent distributed Q-learning, MD-QL) 그리고 탐욕적 행동(greedy action, GA)을 비교방안으로 고려한다. 결과적으로, 제안 방안이 UBS의 수와 사용자 이동속도에 따라 기존 알고리즘보다 그 성능이 강건하고 우수함을 보인다.