한국 중·고등학교 교사들의영어작문 채점 훈련에서 나타나는 채점자 편향과 그 원인

Abstract

실제 언어 사용과 의사 소통 목적의 영어교육이 강조 됨에 따라, 간접쓰기 평가는 점차 에세이 쓰기와 포트폴리오 쓰기 등의 직접 쓰기 평가로 바뀌고 있다. 의사소통 능력을 측정하는 데 더 효과적인 직접 쓰기 평가는 영어를 외국어로 배우는 한국과 같은 EFL 상황의 중등 쓰기 평가에서도 도입이 되고 있다. 하지만, 직접 쓰기 평가에서는 채점자가 개입을 하기 때문에 채점자 신뢰도를 높여야 한다. 채점자 신뢰도와 관련하여 최근 연구들은 채점자 편향에 초점을 맞추고 있는데, 이는 채점자 편향을 줄이면, 채점자 신뢰도가 결과적으로 향상되기 때문이다. 이런 경향에 맞춰, 본 연구는 한국과 같은 EFL 상황의 중등학교 쓰기 평가 맥락에서 얼마나 채점자 편향이 나타나며, 그 원인은 무엇인지를 채점 행위에서 살펴보았다. 또한, 본 연구는 채점자 훈련을 하는 동안 채점자 편향과 그 원인에 관해 채점자 대상 피드백을 주었을 때, 채점자 편향이 얼마나 줄어들며, 그 원인은 어떻게 변화하는지 분석하고, 채점자 대상 피드백에 대한 채점자들의 반응을 연구하였다. 이런 목적을 위해, 총 한 달 반 기간 동안 2주 간격을 두고 3번의 채점 세션을 갖고 한국에서 영어를 가르치고 있는 10명의 고등학교 교사들의 채점 양상을 관찰하였다. 각 세션 별로, 10명의 채점자들은 한국 고등학생들이 쓴 두 가지 종류의 글, 즉, 논설문과 내레티브 글 6편씩을 채점하였고, 채점을 하는 동안에 사고구술기법을 사용하여 채점 과정을 녹음하였다. 각 채점 세션 후에는 몇 가지 질문에 따라 채점일지를 작성하도록 하였다. 두 번째와 세 번째 채점 세션 전에는 전 세션에서의 채점 결과를 기초로 채점자 대상 피드백을 개별적으로 받았다. 10명의 채점 자료들을 양적 및 질적 방법으로 각 세션 별로 분석하였다. 특히, 채점자 편향과 그 원인, 그리고 그 변화 추이에 초점을 맞추었다. -ii- 아울러, 채점자 대상 피드백에 대한 채점자들의 반응을 순기능과 역기능으로 나눠 살펴보았다. 본 연구의 주요 결과는 다음과 같다. 채점자 편향은 채점자 훈련 마지막 세션에서 전체적으로 감소하였고, 이전 세션에서 채점자 편향을 보였던 대부분의 채점자들은 다음 세션에서는 채점자 편향을 보이지 않았다. 채점자 편향의 원인으로는 채점표에서 특정 항목을 중시하거나 경시하는 것이 가장 많았고, 항목 간 혼란, 그리고 채점표에 포함되지 않은 요소의 영향 등이었다. 채점자 대상 피드백에 의해 첫 번째와 두 번째 원인은 상대적으로 쉽게 교정된 반면, 채점표 외에 요소의 영향으로 인한 원인은 상대적으로 지속되는 경향을 있었다. 아울러 채점자 대상 피드백은 순기능과 채점자의 일관성의 일시적 혼란 등의 역기능이 함께 존재하였고, 특히, 채점자의 내적인 부분까지 영향을 미친다는 점과 채점자들이 자신의 이전 채점 행위를 숙고해 볼 수 있는 기회를 준다는 면에서 그 기능이 중요했다. 본 연구는 채점자 편향의 원인을 채점 행위에서 분석하고 채점자 대상 피드백을 통하여 채점자 편향을 줄일 수 있는 가능성을 제시하였다. 본 연구의 결과를 기초로 채점자 편향을 위한 맞춤식 채점자 훈련을 통하여 채점자 편향을 일으키는 채점자의 행동을 교정하고 채점자 편향을 줄여 직접 평가에서 신뢰도를 높임으로써 성공적인 제 2언어 직접 쓰기 평가의 정착에 조금이나마 기여할 것으로 생각된다.

With an emphasis on genuine language/communication purposes and production, indirect writing tests are being replaced by direct writing tests such as essay writing tests or portfolio assessments of writing. In this way, more valid writing assessments to measure writing ability for communicative competence itself are being introduced to the EFL secondary assessment context. However, rater reliability should be enhanced due to the intervention of rater in direct assessment. With regards to rater reliability, recent research has focused on rater bias, since the reduction of rater bias could bring about the improvement of rate reliability. In line with this trend, the present study investigated the extent to which raters exhibited bias and what its source was by examining rating behavior in an EFL writing assessment context like Korea. Furthermore, the research aimed to examine the extent to which rater bias could be reduced through individual feedback rooted in the sources of rater bias. This study also investigated how these sources changed and the raters reaction to individual feedback while raters went through longitudinal rater training. For this purpose, scoring behaviors of 10 high school English teachers in Korea were observed and analyzed in each of the three rating sessions, which were separated by two-week intervals. In each of the three rating sessions, 10 raters scored a set of six writing samples written by Korean high school students according to two kinds of essay writing tasks: argumentative and narrative. The raters also recorded how they arrived at certain scoring decisions while grading each writing sample by think-aloud protocols. After each rating session, the raters kept journals based on guided questions. Before the second and third rating sessions, the raters were trained with individual feedback on their previous rating performance. The 10 raters ratings were quantitatively and qualitatively analyzed in each session, focusing on rater bias, its sources and how they changed of them. In addition, the raters reaction to individualized feedback was investigated by its positive and negative functions. The present study showed that rater bias could be reduced with individual feedback rooted in the sources of rater bias by analyzing rating behaviors. The findings from this study suggest that more fine-tuned rater training for rater bias could contribute to minimize rater bias by changing rating behaviors which trigger rater bias and enhance rater reliability in direct assessment and the successful settlement of direct writing assessment.