면접평가자의 일치성: G 대학교 학생부종합전형을 중심으로

Abstract

이 연구는 G 대학교 학생부종합전형에 대한 면접평가자의 평가일치성을 다룬다. 우리는 G 대학교의 면접평가시스템의 일치성을 측정하고 이를 토대로 평가의 신뢰성을 향상시키기 위한 방안을 모색하고자 하였다. 이 연구에서 사용된 데이터는 2013–2015 년까지의 3개 학년도의 학생부종합전형을 위한 면접평가 데이터이다. 면접평가자들 간의 평가의 일치성을 측정하기 위해 채택한 일치성 측도들은 ICC(intraclass correlation coefficient), Kirippendorff의 alpha, 그리고 Kendall의 W이다. 이러한 측도들을 사용하여 평가의 일치성을 측정한 결과, ICC와 Krippendorff의 alpha에 대해서는 약 25%의 면접평가자 집단들이 낮은 일치성 집단으로 분류되었다. 반면에 Kendall의 W에 대해서는 1%의 미만의 면접평가자 집단들만이 낮은 일치성 집단들로 분류되었다. 이런 큰 차이는 ICC와 Krippendorff의 alpha가 평가점수들을 그대로 사용하여 일치성을 측정하는 것에 비해 Kendall의 W는 평가점수들의 순위를 이용하여 일치성을 측정하는 것에 기인하는 것으로 해석할 수 있다. 그리고 3개 연도에 대한 일치성 범주분포는 세 가지 측도 모두에 대해 통계적으로 유의한 차이가 없는 것으로 나타났다.