대규모 언어모델의 건축환경분야 성능평가를 위한 벤치마크 구축과 관련한 탐색적 연구

초록

본 연구는 대규모 언어모델(LLM)의 건축환경 분야 성능을 체계적으로 평가하기 위한 벤치마크 구축 방법을 제안하고, 이를 온디바이스 LLM에 실험적으로 적용한 탐색적 연구이다. 이에 따라, 전문가 합의 수준을 기준으로 벤치마크 문항을 ‘핵심 성능지표’와 ‘확장 성능지표’로 구분하는 이원화된 벤치마크 프레임워크를 제안하였다. 본 연구의 결과는 전문가 합의를 기반으로 구성된 이원화된 벤치마크가 LLM의 건축환경 도메인 지식 구조와 성능 특성을 진단하는 데 유용한 도구가 될 수 있음을 보여준다

키워드