"번역엔 가성비, 분석엔 고성능"…KT AI 모델 선택 기술 글로벌 2위

[서울=뉴시스]이주영 기자 = KT가 이용자의 요청에 따라 적합한 인공지능(AI) 모델을 자동으로 골라주는 기술로 글로벌 공개 평가에서 2위에 올랐다. 번역처럼 비교적 간단한 작업에는 비용이 낮은 모델을, 전문적인 분석에는 고성능 모델을 연결해 AI 이용 품질과 비용을 함께 고려하는 기술이다.

KT는 자체 개발한 AI 모델 라우팅 기술 '오토모델라우터'가 대규모언어모델(LLM) 라우터 공개 벤치마크 '라우터 아레나'에서 종합 2위를 기록했다고 27일 밝혔다.

라우터 아레나는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 약 8400개의 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등을 평가한다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026 정식 논문으로 채택됐다.

KT의 오토모델라우터는 공개 리더보드에 'KT-모델라우터'라는 이름으로 등재돼 정확도와 비용을 함께 평가하는 '정확도-비용 아레나'에서 2위를 기록했다. 현재 리더보드에는 학계에서 개발한 라우터뿐 아니라 마이크로소프트의 '애저 모델 라우터' 등 상용 기술도 등재돼 있다.

AI 모델은 번역과 요약, 코딩, 추론 등 분야별로 강점과 이용 비용이 다르다. 오토모델라우터는 이용자 요청의 업무 유형과 난이도, 지식 분야를 분석한 뒤 모델별 응답 품질과 이용 비용을 고려해 적합한 모델을 자동으로 연결한다.

예를 들어 간단한 번역이나 정보 확인에는 요구하는 품질을 충족하면서 상대적으로 비용 효율적인 모델을 활용하고, 전문적인 분석이나 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결하는 방식이다.

KT는 이 기술을 '토큰 팩토리'의 모델 라우팅 기능에도 활용한다. 토큰 팩토리에서 여러 AI 모델과 토큰 이용 환경을 통합 운영하면서 이용자의 요청에 맞는 모델을 자동으로 선택해 서비스 품질과 토큰 사용 비용을 함께 최적화한다.

KT는 오토모델라우터를 지속적으로 고도화하고 새로운 AI 모델을 추가할 수 있는 멀티모델 운영 환경을 구축해 기업 고객의 AI 전환을 지원할 계획이다.


◎공감언론 뉴시스 [email protected]