삼성전자, AI 업무 생산성 측정 지표 '트루벤치' 공개

[서울=뉴시스]이인준 기자 = 삼성전자는 인공지능(AI) 업무 생산성 벤치마크(테스트 도구) '트루벤치(TRUEBench)'를 자체 개발했다고 25일 밝혔다.

'트루벤치'는 AI 모델의 업무 생산성 성능을 평가하는 벤치마크로, 삼성전자 DX부문 선행 연구개발조직인 삼성리서치가 사내 생성형 AI 모델 적용 경험을 바탕으로 개발했다.

삼성전자는 기존에 공개된 벤치마크와 차별화한 점으로 실제 업무에 활용하는 생산성 성능을 집중 평가한다는 점이라고 설명했다.

평가 항목은 기업에서 자주 사용하는 콘텐츠 생성, 데이터 분석, 문서 요약 및 번역, 연속 대화 등 실제 오피스 업무에서 활용되는 체크 리스트를 기반으로 완성했다. 총 10개 카테고리, 46개 업무, 2485개의 세분화된 항목으로 구성된다.

또 AI 모델 성능 평가에 있어 대화 횟수 제한이 없다. 단발성 대화부터 최대 2만자의 긴 문서 요약까지 제공한다.

특히 영어 중심의 기존 벤치마크와 달리 한국어를 비롯해 영어·일본어·중국어·스페인어 등 총 12개 언어도 지원한다. 여러 언어가 혼합된 교차 언어의 번역 기능 평가가 가능하다.

AI 모델 성능 평가도 쉽다. 사용자는 한 번에 최대 5개 모델을 선택해 비교할 수 있다. 삼성전자는 '트루벤치'가 답변의 정확성이 높을 뿐 아니라, 겉으로 드러나지 않는 사용자 의도나 맥락까지 평가가 가능한 것으로 알려졌다.

평가 항목을 검증하는 방식에는 AI가 적극 활용된다. 사람이 구축한 평가 기준을 AI가 검토해 오류나 모순, 불필요한 제약이 없는지 확인하며 지속적인 교차 검증의 반복을 통해 더욱 정교한 평가 기준을 완성하게 된다. 이러한 기준으로 완성된 AI 모델 자동 평가는 주관적 편향을 최소화하고 일관성 있는 결과 값을 제공한다.

전경훈 DX부문 최고기술책임자(CTO) 겸 삼성리서치장(사장)은 "트루벤치 공개를 통해 생산성 성능 평가 기준을 정립하고 삼성전자의 기술 리더십을 공고히 하겠다"고 말했다.


◎공감언론 뉴시스 [email protected]