황정아 의원실, 세무사 1차 문제 AI에 제시…회계 40문항 전부 정답
관련 법령 확인 후 세법도 만점…리트는 기출 학습 후 70문항 다 맞혀
시험 이후 AI 성능 더 진화…최신 모델은 회계·세법·리트 모두 만점
20일 더불어민주당 황정아 의원실에 따르면 올해 4월25일 시행된 제63회 세무사 1차 시험 문제지를 미국 앤트로픽의 AI '클로드' 계열 모델에 제시한 뒤 한국산업인력공단 최종정답을 기준으로 채점한 결과 이같이 나타났다. 이 실험에서는 문제지 이미지만 AI에 입력했으며 정답이나 해설은 별도로 제공하지 않았다.
시험을 불과 9일 앞둔 지난 4월16일 출시된 '오푸스 4.7'은 이 조건에서 회계학개론 40문항을 모두 맞혀 100점을 기록했다.
앞서 출시된 모델들과 비교하면 성능 향상 폭이 두드러졌다. 지난해 9월 나온 '소넷 4.5'의 회계학개론 점수는 62.5점, 같은 해 10월 출시된 '하이쿠 4.5'는 25점이었다. 지난해 11월 공개된 '오푸스 4.5'도 75점에 그쳤다.
시험 직전 등장한 모델에서 회계학개론 성적이 곧바로 만점까지 올라간 셈이다. 같은 조건에서 오푸스 4.7이 받은 세법학개론 점수는 72.5점이었다.
◆AI 회계 점수 만점되자 실제 90점 이상 고득점자도 급증
의원실은 이 같은 AI 성능 변화가 올해 실제 시험에서 나타난 고득점자 증가 양상과 맞물린다는 점에 주목했다.
한국산업인력공단 자료를 보면 회계학개론 90점 이상 응시자는 2024년 1명, 지난해 2명에 불과했지만 올해는 66명으로 급증했다. 같은 기간 최고점도 90점에서 95점, 올해 100점으로 높아졌다.
반면 올해 세법학개론에서 90점 이상을 받은 응시자는 만점자 1명뿐이었다. 문제지만 입력했을 때 AI가 만점을 기록한 회계학개론에서 실제 고득점자도 집중적으로 늘어난 것이다.
다만 의원실의 AI 실험과 고득점자 증가만으로 실제 응시자의 AI 부정행위를 입증할 수 있는 것은 아니다. 황 의원은 고득점자의 통계적 특성과 시험 과정 등을 전수조사해 연관성을 확인할 필요가 있다고 주장했다.
AI가 세법학개론에서 만점을 받는 것도 가능했다. 오푸스 4.7에 각 문항과 관련된 법령을 국가법령정보센터 등에서 먼저 확인한 뒤 답하도록 하자 세법학개론 40문항을 모두 맞혔다. 이 과정에서도 정답이나 해설, 시험일 이후 공개된 자료는 AI에 제공하지 않았다.
의원실은 시험 당시 이용할 수 있던 AI도 관련 법령을 검색·참조하는 절차를 추가하면 회계학개론뿐 아니라 세법학개론까지 전 문항 정답을 낼 수 있었다는 의미라고 설명했다.
◆리트도 69개 맞힌 AI…기출 추가 학습하자 전 문항 정답
지난 7월19일 시행된 2027학년도 리트에서도 비슷한 실험이 진행됐다.
시험 40일 전인 6월9일 출시된 '페이블 5'에 문제지만 제시한 결과 언어이해 30문항을 모두 맞혔고, 추리논증에서는 40문항 가운데 39문항의 정답을 골랐다.
여기에 최근 3개년 리트 기출문제를 추가로 학습시키고 문제를 나눠 풀도록 하자 추리논증에서도 40문항 모두 정답을 기록했다. 언어이해와 추리논증을 합쳐 70문항 전체를 맞힌 것이다.
AI 모델의 시험 풀이 능력은 이후에도 빠르게 높아진 것으로 나타났다. 세무사 시험일 이후 출시된 9개 모델을 대상으로 같은 방식의 실험을 진행한 결과 모두 회계학개론에서 90점 이상을 받았고 이 가운데 6개는 100점을 기록했다. 세법학개론 역시 9개 모델 중 5개가 문제지만 보고도 90점 이상을 받았다.
이달 출시된 최상위 모델 '페이블 5.2'는 별도 학습을 거치지 않은 상태에서도 세무사 회계학개론과 세법학개론을 각각 100점으로 통과했고, 리트 70문항도 모두 맞혔다. 최신 AI 모델은 회계학개론 40문항을 푸는 데 약 1분30초밖에 걸리지 않았다는 게 의원실 설명이다.
황정아 의원은 "AI 모델의 문제풀이 역량이 발전한 시점과 맞물려 회계학개론 고득점자가 30배 넘게 늘어난 상황을 단순한 우연으로만 보기는 어렵다"며 "고득점자들의 통계적 특이성 등을 전수조사해 실제 부정행위가 있었는지 명확하게 가려야 한다"고 말했다.
◎공감언론 뉴시스 hsyhs@newsis.com