Transformer 언어 모델을 활용한 초중등 학습자 작문 연령 예측 모델 구현

Abstract

본 연구에서는 Transformer 언어 모델, 그중에서도 한국어 BERT 및 BART 모델을 활용하여 초중등 학습자 작문의 연령대를 예측할 수 있는 연령 예측 모델을 구현하였다. 대규모의 코퍼스에 대하여 사전 학습한 KoBERT, KcBERT, KoBART 모델에 기반하여 국립국어원 ‘모두의 말뭉치’ 중 ‘국립국어원 비출판물 말뭉치(버전 1.1)’를 대상으로 미세 조정(fine-tuning)을 진행함으로써 학습자 작문 연령 예측 모델을 구현하였다. 결과적으로 예측 모델은 약 61.1%에서 68.1%의 정확도를 가지는 것으로 나타났으며, 그중에서도 KoBART에 기반을 둔 예측 모델이 가장 우수한 성능을 보였다. 특히, 작문의 장르를 고려하여 미세 조정을 진행한 경우 최대 70% 이상의 정확도를 보여 초중등 학습자 작문에 대한 연령 예측 모델 정교화의 가능성을 확인할 수 있었다. 본고는 학습자 작문 연령 예측 모델을 활용하여 연령대별로 전형적이라고 판단되는 학습자 작문들을 추출하였다. 이를 통해 학습자 작문의 발달 양상을 분석하는 것이 가능하며, 더 나아가서는 전형성과 대표성을 가지는 학습자 작문을 바탕으로 학습자 작문 평가 또는 작문 교수·학습 내용의 단서를 탐색할 수 있는 기반을 마련할 수 있을 것으로 기대된다.

This study implemented a prediction model that can predict the age group of elementary and secondary learners’ writings using the Transformer language model, especially KoBERT, KcBERT, and KoBART. By conducting fine-tuning for the "National Language Institute's non-published corpus (version 1.1)" among the "everyone corpus" based on the KoBERT, KcBERT, and KoBART which are pre-trained for large-scale corpus, an age prediction model was embodied. As a result, the prediction model was found to have an accuracy of about 61.1% to 68.1%, and among them, the prediction model based on KoBART showed the best performance. In particular, when fine-tuning was conducted in consideration of the genre of writings, the accuracy was up to 70% or more, confirming the possibility of elaborating the age prediction model for elementary and secondary learners’ writings. In addition, this paper extracted learners’ writings that are judged to be typical for each age group by using the age prediction model. Through this, it is possible to analyze the development aspect of learners’ writings, and furthermore, it is expected to lay the foundation for searching for clues to evaluations for learners’ writings or teaching & learning content of writing based on typical and representative learners’ writings.