온디바이스 대형언어모델 엑사원 4.0 1.2B가 자동생성한 건축환경문헌 기반 Q&A 데이터셋의 품질평가

Abstract

본 연구는 LMM(large language model)을 온디바이스 LMM 모델인 엑사원 4.0 1.2B를 이용해 건축환경 분야의 논문 36개를 수집 정제하고 Zero-shot 형태의 프롬프트로 입력하여 생성한 1,913개의 질의응답쌍의 품질검사를 목표로 한다. 그 결과 containment는 평균 0.399, cosine similarity(SBERT)는 0.42의 결과가 도출되었다. 형식적인 오류는 272개로 전체 1,913개의 문항의 14.2%에 해당하는 것으로 나타났다.