[서울=뉴시스]심지혜 기자 = 여러 인공지능(AI) 서비스를 제각각 구독하면서 불어나는 기업들의 비용 부담과 관리 난맥상을 한 번에 해결하는 통합 플랫폼이 등장했다.

500개 이상의 국내외 AI 모델을 한곳에서 골라 쓰고, 질문 난이도에 따라 최적의 모델을 자동 배치해 이용 비용을 최대 25%까지 아껴주는 서비스다.

◆500개 AI 모델 통합…토큰 비용 최대 25% 절감

 KT는 27일 서울 종로구 광화문 웨스트빌딩에서 기자간담회를 열고 AI 모델 선택부터 사용량 확인, 비용 관리, 보안까지 통합 제공하는 'KT 토큰팩토리(Token Factory)'를 공개했다. 오는 30일부터 기업 고객을 대상으로 정식 서비스를 시작하며, 향후 개인 고객과 글로벌 시장으로 영토를 넓힐 계획이다.
 
토큰은 AI가 질문을 처리하고 답변을 생성할 때 사용하는 데이터의 기본 단위다. AI 서비스 이용 비용은 처리하는 토큰량에 따라 달라진다. KT가 인용한 오픈라우터 통계에 따르면 글로벌 AI 토큰 소비량은 최근 1년간 약 35배 증가했다.

KT 토큰팩토리는 국내외 AI 모델을 하나의 플랫폼에 연결하는 서비스다. 기업 고객은 여러 AI 모델을 개별적으로 탐색하거나 각각의 이용 환경을 관리할 필요 없이 업무 목적과 비용, 보안 요구사항에 맞는 모델을 선택할 수 있다. 가입부터 사용량 확인, 비용 관리, 결제까지 한곳에서 처리할 수 있도록 했다.

특히 KT가 자체 개발한 '오토 모델 라우터(Auto Model Router)'를 적용해 AI 이용 비용을 최적화했다. 이용자가 질문을 입력하면 업무 유형과 난이도, 요구되는 답변 품질, 비용 등을 종합적으로 분석해 적합한 모델을 자동으로 선택하는 기술이다.

단순 업무에는 비용이 적게 드는 경량 AI 모델을 연결하고 복잡한 분석 업무에는 고성능 모델을 활용하는 방식이다. 고객이 사전에 허용한 모델 범위도 선택 과정에 반영한다.

KT에 따르면 오토 모델 라우터는 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 '라우터아레나(RouterArena)'에서 종합 1위를 기록했다.

질문의 의미와 품질을 유지하면서 불필요한 표현을 줄이는 '프롬프트 압축 기술'도 적용했다. 한국어 특성을 고려한 정밀 압축과 반복 표현 제거를 통해 입력 토큰 수를 줄여 처리 효율을 높이는 방식이다. KT는 자체 개발한 두 기술을 통해 답변 품질을 유사하게 유지하면서 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다.


◆국내 AI 추론·보안 강화…글로벌 협력 확대

국내 데이터센터를 활용한 AI 추론 서비스도 제공한다. KT는 해외 AI 서비스 의존에 따른 데이터 주권 우려를 줄이기 위해 국내 데이터센터에서 직접 AI 추론을 지원하는 환경을 구축했다.

이를 위해 KT 자체 AI 모델과 국내외 오픈웨이트 모델, 독자 AI 파운데이션 모델 등 다양한 AI를 활용할 수 있는 기반을 마련했다. 오픈웨이트 모델은 AI 모델의 학습된 가중치가 공개돼 기업 등이 이를 활용할 수 있는 모델이다.

AI 이용 과정에서 발생할 수 있는 보안 위험을 줄이기 위한 기능도 적용했다. 고객이 입력하는 질문에 개인정보나 민감정보, 유해 표현이 포함됐는지 점검하고 AI가 생성한 답변도 확인하는 자체 '가드레일' 기술이다.

KT는 한국어 환경에 맞춘 가드레일 기술을 지속적으로 고도화하고 향후 기업별 업무 특성과 보안 요구에 따라 탐지 대상과 차단 수준을 세밀하게 설정할 수 있도록 기능을 확대할 계획이다.

글로벌 AI 기업과의 협력도 강화한다. KT는 글로벌 AI 게이트웨이 플랫폼이자 AI 모델 마켓플레이스 사업자인 '오픈라우터(OpenRouter)'와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 토큰팩토리에 연결할 수 있는 글로벌 AI 모델 500개 이상을 확보했다.

양사는 향후 오픈라우터의 글로벌 AI 모델과 KT의 국내 인프라 및 소버린 AI 모델을 연계할 계획이다. KT가 국내에서 제공하는 AI 모델을 글로벌 시장에 유통하는 방안도 추진한다.

AI 코딩과 에이전트 분야에서는 유라클, CAST AI와 협력하고 기업용 AI 업무환경 분야에서는 타임리와 협력 범위를 넓힌다. 업스테이지와 다음 등 '모두의 AI' 컨소시엄 참여 기업과도 협력해 AI 인프라부터 모델 활용, 서비스까지 연결되는 생태계를 구축할 계획이다.

KT는 토큰팩토리 출시 초기에는 여러 AI 모델을 활용하면서 비용을 효율적으로 관리하려는 기업 고객을 대상으로 서비스를 제공하고, 향후 개인 고객까지 서비스 범위를 확대할 예정이다.

박상원 KT AX사업부문장 전무는 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.


◎공감언론 뉴시스 siming@newsis.com