고등학교 수학 과목 자동문항생성 문항모델의 Q-matrix 타당성 검정 연구

Abstract

교육의 디지털 전환이 급격히 이루어짐에 따라 자동문항생성(Automation Item Generation: AIG)의 문항모델을 활용한 연구가 국내외에서 다양하게 진행되고 있다. 문항모델은 측정하고자 하는 인지요소(attribute)를 중심으로 변수를 설정하고, 디지털화 된 문항으로 설계되는데 지금까지 AIG를 활용하는 연구에서는 내용전문가가 전제하는 인지요소를 바탕으로 문항모델을 구상해 왔다. 이는 AIG의 변동성에 의해 인지요소의 변동이 있을 수 없음을 가정한다. 이에 본 연구에서는 고등학교 ‘공통수학’의 다항식의 연산에서 전제된 인지요소가 문항반응모형을 통해 확정된 인지요소를 고려하는 AIG의 문항모델을 활용해 고등학교 1학년 대상으로 형성평가를 실시하였다. 사전 설정된 인지요소와 실제 데이터에서 도출된 인지요소 간 변동성을 교차검증하였다. 조사를 위한 통계적인 모형으로는 Rasch 모형에서 난이도 모수에 대해 다차원으로 확장된 선형로지스틱 평가모형(linear logistic test model)을 활용하였고, 문항모델에 포함되어 있는 인지요소별 난이도를 추정하는 과정을 통해 인지요소에 대한 타당성을 검정하였다. 이러한 과정을 통해, 내용전문가가 설정한 인지요소에 대한 Q 행렬과 데이터를 활용한 Q 행렬 간의 타당성을 파악할 수 있을 뿐만 아니라 인지요소별 난이도를 파악할 수 있음을 밝혔다. 이러한 교차검증의 절차는 향후 타당성의 확보뿐만 아니라, 교실수준의 문항생성이 문항의 양호도(신뢰도, 타당도 포함) 고부담 시험에 활용될 수 있는 근거를 제시해주는 역할을 담당할 것이다.