AI와 교수님 평가, 누가 더 공정할까…대학생들 생각은?

[서울=뉴시스] 구무서 기자 = 대학생들은 인공지능(AI)과 교수자 중 AI의 평가가 더 공정하다고 인식하는 것으로 나타났다.

5일 한국교육과정평가원 교육과정평가연구 'AI 평가와 교수자 평가에서 대학생이 인식하는 평가 공정성의 차이' 연구에 따르면 연구진은 4년제 대학 재학생을 대상으로 이와 같은 연구를 진행했다. 연구 1은 390명, 연구 2는 267명, 연구 3은 253명을 대상으로 했다.

구체적으로 평가자 유형과 평가 목적을 조작한 대학 글쓰기 수업 평가 상황에 대한 시나리오를 제공한 후 학생들의 평가 공정성 인식을 반복 측정했다. 평가목적, AI 신뢰, 피드백 제공 여부를 조절 변인으로 설정했다.

신뢰도 척도 문항은 ▲나는 이 평가 방식이 공정하다고 느낀다 ▲나는 이 평가자가 일관된 기준을 적용한다고 생각한다 ▲나는 이 평가 방식은 편견 없이 객관적으로 이루어질 것이라고 생각한다 ▲나는 이 평가 방식이 나를 정당하게 평가할 것으로 생각한다 등이다.

조사 결과 신뢰도는 AI가 0.803~0.885로 교수자 0.794~0.870에 비해 높게 나타났다. 대학교 글쓰기 평가 상황에서 AI 평가가 교수자 평가보다 공정성 인식이 전반적으로 더 높게 나타났으며 이러한 경향은 진단·형성·총괄평가 전반에 걸쳐 일관되게 확인된다.

연구진은 "학습자가 평가 공정성을 판단할 때 평가자 유형이 지닌 절차적 특성, 특히 객관성과 일관성에 대한 기대를 중요한 기준으로 활용하고 있음을 시사한다"고 말했다. AI는 동일한 알고리즘과 기준에 따라 평가가 이뤄지는데 반해 교수자는 학습자 상황과 맥락을 반영한 판단이 가능해 평가 기준 적용이 상황에 따라 달라질 수 있다고 인식하기 때문이다.

또 피드백을 제공할 경우 AI에 대한 공정성 인식은 더 높아졌지만 교수자의 경우 오히려 피드백이 제공되면 점수가 더 낮아지는 경향이 나타났다. 연구진은 "AI 기반 평가에서는 공정성 인식을 제고하기 위한 핵심 요소로서 피드백 제공을 적극적으로 고려할 필요가 있으며, 교수자 평가에서는 피드백의 제공 여부보다는 그 질과 전달 방식에 대한 보다 정교한 접근이 요구됨을 시사한다"고 말했다.

단 AI 신뢰 수준에 따라 평가에 대한 신뢰도와 공정성 인식에도 차이가 발생하기 때문에 학교 차원에서 AI 리터러시 함양과 신뢰 형성을 지원하기 위해 AI 기본 소양교육과 AI 활용 탐구역량 강화, 문제 해결 중심의 교육 프로그램을 체계적으로 개발하고 지원할 필요가 있다고 봤다.

또  AI로 교수자 평가를 대체하기보다는 객관적 기준이 적용되는 영역과 맥락적 해석이 필요한 영역을 구분해 각각 적합한 평가 주체를 배치하는 등 보완적 도구로 활용해야 한다고 제안했다.

연구진은 "평가 공정성은 평가자 유형 자체보다도 학습자의 AI에 대한 신뢰와 피드백과 같은 설명적 정보 제공 여부에 의해 유동적으로 형성된다는 점에서 AI 평가 시스템 설계 시 단순한 자동채점 기능을 넘어 설명 가능성과 피드백 중심 설계를 핵심 요소로 고려할 필요성이 있다"고 말했다.


◎공감언론 뉴시스 [email protected]