한국어 쓰기 피드백을 위한 ChatGPT의 활용 가능성 연구

Abstract

목적: ChatGPT와 교수자가 생성한 피드백의 양상을 비교 분석하여, ChatGPT가 한국어 쓰기 피드백의 도구로써 지닌 가능성과 활용 방안을 모색하는 데 목적이 있다. 방법: 학문 목적 학습자가 작성한 정보 전달 글 19편, 의견 쓰기 글 18편을 대상으로 ChatGPT와 교수자 3인이 분석적 평가와 총체적 평가의 피드백을 실시하였다. 결과: 첫째, ChatGPT가 반복 채점을 수행한 결과 높은 채점자 내 신뢰도(ICC)를 확인할 수 있었으며, 경력 10년 이상의 교수자와 ChatGPT의 채점자 간 신뢰도(IRR)도 양호하게 나타났다. 둘째, 정보 전달 글과 의견 쓰기 글 모두 인간 채점자에 비해 ChatGPT의 분석적 평가 점수가 더 높았다. 정보 전달 글에서는 ‘내용 및 과제 수행, 인용 및 참고문헌’에서, 의견 쓰기 글에서는 ‘내용 및 과제 수행’, ‘언어사용’에서 ChatGPT와 채점자 간 통계적으로 유의한 차가 나타났다. 셋째, 총체적 평가의 경우 ChatGPT가 전형적인 표현을 사용하여 다소 모호한 피드백을 제시한 반면, 채점자는 학습자의 글쓰기 수준을 진단한 후 구체적이고 명시적인 피드백을 제시하였다. 결론: ChatGPT를 1차 피드백의 보조적 수단으로 활용할 때, 교수자의 한국어 쓰기 피드백의 효용성과 효율성을 높일 수 있을 것으로 보인다.