[서울=뉴시스]심지혜 기자 = 국가대표 인공지능(AI)을 선발하는 독자 AI 파운데이션 모델 프로젝트의 2차 평가 결과 발표를 앞두고 벤치마크 점수를 어떻게 해석할지를 두고 관심이 모인다.

특정 벤치마크를 겨냥한 데이터와 사후학습으로 점수를 집중적으로 끌어올리는 이른바 '벤치맥싱'이 글로벌 AI 업계에서 확산하면서 높은 점수가 모델의 실제 성능을 얼마나 보여주는지를 둘러싼 논의도 이어지고 있다.

◆ 벤치마크도 '쪽집게 과외'…점수 올려주는 업체까지 등장

벤치마크는 서로 다른 AI 모델의 성능을 동일한 기준에서 비교하는 일종의 '시험지'다. 글로벌 AI 경쟁이 치열해지면서 주요 AI 기업들은 새 모델을 공개할 때마다 추론·수학·코딩 등 각종 벤치마크 성적을 함께 제시하며 기술력을 입증해왔다.

하지만 벤치마크 경쟁이 치열해질수록 개발자들 사이에서는 높은 점수가 실제 모델의 범용적인 성능을 그대로 보여주는지를 두고 회의적인 시각도 제기된다. 모델의 전반적인 능력을 높이는 것과 별개로 특정 벤치마크를 겨냥한 사후학습을 통해 해당 점수를 집중적으로 끌어올리는 것이 가능해졌기 때문이다.

시험 자체가 하나의 학습 목표가 될 수 있는 환경이 만들어진 셈이다.

대표적인 방식이 ‘검증 가능한 보상을 통한 강화학습(RLVR)’이다. 수학이나 코딩처럼 정답 여부를 명확하게 판별할 수 있는 문제를 모델에 반복적으로 풀게 하고 정답을 맞히면 보상을 주는 방식으로 추론 능력을 높이는 사후학습 방식이다.

RLVR 자체는 AI 업계에서 널리 활용되는 학습 기법이다. 다만 특정 벤치마크와 유사한 문제와 데이터를 집중적으로 학습시키면 해당 평가 점수를 빠르게 끌어올리는 데 활용될 수 있다.

이 때문에 특정 벤치마크 점수를 극대화하는 현상을 뜻하는 ‘벤치맥싱(Benchmaxxing)’이라는 표현도 등장했다.

오픈AI 창립 멤버인 안드레이 카파시는 지난해 공개한 ‘2025 LLM 결산’에서 "벤치마크에 대한 신뢰를 잃었다"고 밝히며 벤치마크가 RLVR과 합성데이터를 통한 최적화에 취약하다고 지적했다.

이러한 가운데 벤치마크 성능 향상을 전문적으로 지원하는 업체들도 등장하고 있다. 애프터쿼리 등 AI 학습 전문업체들은 모델별 취약 영역에 맞춘 데이터를 제공하거나 사후학습을 지원하고 있다.

실제 애프터쿼리는 엔비디아의 오픈소스 모델 ‘네모트론3 울트라’ 학습에 자사 데이터가 활용됐으며, 해당 과정에서 실제 직무 수행 능력을 평가하는 GDPval 점수가 35.3점에서 46.7점으로 상승했다고 공개했다.

◆ 독파모 핵심 평가축도 벤치마크…점수 해석에 관심

독파모 2차 평가에서도 벤치마크는 모델 성능을 가리는 주요 평가축으로 활용된다. 전체 100점 가운데 벤치마크 평가가 40점으로, 글로벌 지표인 AAII 25점과 NIA 벤치마크 15점으로 구성된다. 전문가 평가는 35점, 사용자 평가는 25점이다.

1차 평가에서도 벤치마크·전문가·사용자 평가가 각각 40점·35점·25점으로 동일했다.

당시에는 NIA 평가 10점, 글로벌 공통 벤치마크 20점, 글로벌 개별 벤치마크 10점으로 나눠 벤치마크 평가를 진행했다.

2차 평가에서는 글로벌 AI 분석기관 아티피셜 애널리시스의 종합 성능지표인 ‘인텔리전스 인덱스(AAII)’와 한국지능정보사회진흥원(NIA) 벤치마크를 활용한다.

AAII에는 AI가 실제 전문 업무를 얼마나 잘 수행하는지를 평가하는 GDPval을 변형한 'GDPval-AA'가 포함돼 있다.

업계가 벤치마크 평가에 민감한 것도 이 때문이다. 평가 대상 지표가 정해진 만큼 참여사들도 해당 영역에 맞춘 사후학습을 강화할 가능성도 있다.

◆ 국민 200명이 직접 써보고 평가…실사용성 검증 강화

독파모는 실제 활용성과 사용자가 체감하는 성능을 함께 평가하기 위해 벤치마크 점수 외에 전문가 평가와 사용자 평가를 병행하고 있다. 모델의 기술 수준뿐 아니라 실제 활용 가능성까지 종합적으로 살피겠다는 취지다.

특히 이번 2차 평가에서는 일반 국민 200명으로 구성된 국민평가단이 처음 도입됐다. 1차 평가에서는 AI 스타트업 대표 등 전문 사용자 49명이 사용자 평가에 참여했지만, 이번에는 성별·연령별 인구 비율 등을 고려해 선정한 일반 국민이 정예팀의 AI 모델을 직접 사용한 뒤 평가한다.

벤치마크가 정해진 문제를 동일한 기준으로 비교하는 데 강점이 있다면 사용자 평가는 실제 이용자가 모델을 써보면서 체감하는 성능과 편의성 등을 살필 수 있다는 점에서 보완적인 역할을 한다.

특정 벤치마크에 최적화된 사후학습이 가능해진 만큼 벤치마크와 전문가·사용자 평가 결과가 실제 모델 경쟁력을 얼마나 일관되게 보여주는지도 이번 평가에서 주목할 부분이다.

업계 관계자는 "어떤 벤치마크를 평가에 쓰는지가 공개된 상황에서는 참여사들이 해당 지표에 맞춰 사후학습을 강화하는 것이 자연스러운 선택이 될 수 있다"며 "벤치마크 점수가 모델의 전반적인 성능 향상을 얼마나 반영하는지는 실제 사용자 평가 등 다른 평가 결과와 함께 살펴볼 필요가 있다"고 말했다.


◎공감언론 뉴시스 siming@newsis.com