챗GPT·제미나이, 국어·수학 만점…영어도 듣기 제외 모두 정답
모델·실행 모드 따라 일부 오답…AI 악용 시험 부정행위 대응 과제
[서울=뉴시스]윤정민 윤현성 기자 = 오픈AI '챗GPT', 구글 '제미나이'가 2027학년도 대학수학능력시험 국어, 수학, 영어(듣기 영역 제외)에서 모두 만점을 받았다. 세 영역 모든 문제를 푼 시간은 도합 3분도 안됐다.
뉴시스가 19일 한국교육과정평가원이 공개한 수능 시험지 PDF를 'GPT-6.2 아스트라'와 '제미나이 4 하이드로젠'에 제공해 풀게 한 결과다. 국어·수학은 원점수 100점, 영어는 듣기를 제외한 읽기 28문항에서 63점 만점에 63점을 기록했다.
시험 방식은 간단했다. 국어, 수학, 영어 시험지를 각각 첨부하고 "풀어서 정답 나열해줘"라고 요청했다. 문제 풀이 과정에서는 웹 검색을 사용하지 않았다.
두 AI 모두 국어 56문항과 수학 46문항의 정답을 제시했다. 국어 선택과목 2개와 수학 선택과목 3개를 모두 풀게 했다. 실제 수험생은 영역별로 선택과목 하나씩만 골라 국어 45문항, 수학 30문항을 푼다. AI가 수험생보다 국어는 11문항, 수학은 16문항을 더 푼 셈이다.
GPT-6.2 아스트라(추론 단계 '높음' 기준)의 답안 제시까지 걸린 시간은 국어 44초, 수학 1분25초, 영어 35초로 합계 2분44초였다. 일부 계산에는 코드 실행 도구도 활용했다.
제미나이도 전 문항을 맞혔다. 하지만 수학에서는 일부 그래프나 수식을 정확히 읽지 못했다며 문제 조건을 다시 확인해 달라고 요청하는 경우가 있었다.
◆같은 시험지도 실행 환경 따라 차이…국어 한 문항씩 틀리기도
챗GPT 유료 버전에서 같은 홀수형 시험지로 추가 실험을 진행했을 때는 일부 오답도 나왔다.
추론 수준을 '높음'으로 설정한 채팅 모드는 국어 답안을 약 1분40초 만에 제시했지만 화법과 작문 38번 문항을 틀렸다. 화작 선택 기준 98점이다. 수학은 약 3분47초 만에 모든 문항을 맞혔다.
워크 모드에서 'GPT-6.1 솔'의 추론 수준을 '매우 높음'으로 설정했을 때는 국어 풀이에 약 6분8초가 걸렸다. 언어와 매체 41번을 틀려 언매 선택 기준 98점이었다.
개발자 'hehee9'가 운영하는 '수능 LLM 풀이 대시보드'에서도 올해 수능 결과를 공개하고 있다. GPT-6.2 아스트라와 솔, 제미나이 4 하이드로젠 등이 국어·수학의 공통·선택과목 전 문항을 맞혔다.
앞서 지난 9월 이 대시보드에서는 GPT-6 아스트라가 지난해 수능의 국어·수학·영어·한국사와 탐구 4과목 평가에서 종합점수 450점 만점을 기록했다.
◆세무사·리트 부정행위 논란…수능 감독도 AI 대응 과제
AI의 문제 풀이 능력은 시험 부정행위 우려와 맞물려 주목받고 있다. 문제를 촬영해 전달하면 AI가 짧은 시간 안에 답을 제시할 수 있어 촬영·통신기기 관리가 시험의 공정성과 직결되기 때문이다.
올해 세무사 시험 수석 합격자는 초소형 카메라와 생성형 AI 등을 이용한 부정행위를 시인했다. 법학적성시험(LEET·리트) 만점자에 대해서도 AI를 이용한 부정행위 의혹이 제기돼 경찰이 수사에 착수했다.
정부도 수능을 앞두고 대응을 강화했다. 한성숙 국무총리는 지난 16일 관계부처 회의에서 시험장 내 스마트기기 반납과 소지 여부 점검을 지시했다. 국가 주관 시험의 관리·운영 방식도 재검토하도록 했다.
정부는 시험 종료 후에도 부정행위 의심 사례를 조사할 방침이다. 위반 사실이 확인되면 응시 자격 제한과 수사 의뢰 등 후속 조치를 취할 계획이다.
◎공감언론 뉴시스 alpaca@newsis.com, hsyhs@newsis.com