[서울=뉴시스]오동현 기자 = 인공지능(AI) 인프라 솔루션 기업 모레가 엔비디아·AMD 등 서로 다른 AI 가속기를 하나의 자원처럼 묶어 토큰 생산 효율을 높이는 기술을 선보였다. 이어 AI 데이터센터의 경쟁력 기준이 그래픽처리장치(GPU) 확보에서 토큰 생산 단가로 옮겨가고 있다는 진단도 내놨다.

모레는 15일(현지시간) 미국 산타클라라 컨벤션센터에서 열린 'AI 인프라 서밋 2026'에서 통합 운용 소프트웨어 '토큰 팩토리 OS' 구상을 발표했다. 현장에서는 엔비디아 H100과 AMD MI300X를 결합한 추론 시스템이 동일 벤더 기반 구성보다 처리량이 최대 1.67배 높았다는 결과도 함께 공개했다.

조강원 대표는 행사 첫날 AI 컴퓨팅 세션에서 '이기종 가속기 데이터센터를 위한 LLM 서빙 프레임워크'를 주제로 발표했다. 그는 AI 데이터센터가 GPU 용량을 빌려주는 곳에서 AI 모델의 토큰(AI가 처리·생성하는 텍스트 단위)을 만들어 파는 '토큰 팩토리'로 바뀌고 있다고 설명했다.

예전에는 GPU를 얼마나 많이 확보해 효율적으로 공급하느냐가 핵심이었다. 이제는 이용자가 응용프로그래밍인터페이스(API)로 소비하는 토큰을 얼마나 싸고 효율적으로 생산하느냐가 경쟁력을 가른다는 것이다. 따라서 개별 GPU 성능을 끌어올리는 데 그치지 말고 데이터센터 전체의 추론 경로와 자원을 최적화해야 한다고 조 대표는 강조했다.

모레는 아키텍처가 다른 가속기, 최신 세대와 구형 가속기가 한 데이터센터에 섞여 돌아가는 '이기종' 환경이 늘고 있다는 점에 주목했다. 회사 측은 토큰 팩토리 OS를 특정 GPU나 추론 엔진에 얽매이지 않고 이들 가속기를 하나의 자원 풀로 다루는 소프트웨어 개념이라고 소개했다. 모델과 요청의 성격, 가속기별 연산 특성에 맞춰 최적의 추론 경로를 짜는 것이 핵심이라는 설명이다.

이를 구현할 기술로는 'MoAI 추론 프레임워크'를 제시했다. 추론 작업을 가속기 특성에 맞게 나눠 맡겨 엔비디아·AMD·텐스토렌트 등의 가속기를 하나의 클러스터처럼 운용하는 방식이다.


앞서 공개한 결합 사례는 역할 분담 방식이다. 모레는 H100에 프롬프트 처리를, MI300X에 응답 생성을 각각 맡기고, 자사 분산 추론 소프트웨어로 두 가속기의 데이터를 연결했다.

조 대표는 "AI 데이터센터는 이제 GPU를 제공하는 공간에서 토큰을 생산하고 판매하는 '토큰 팩토리'로 진화하고 있다"며 "중요한 것은 특정 GPU의 성능이 아니라 서로 다른 가속기를 얼마나 효율적으로 활용해 낮은 비용으로 토큰을 생산하느냐"라고 말했다.

그는 다양한 종류·세대의 가속기를 하나의 인프라처럼 쓰려면 분산 추론 소프트웨어가 필요하다고 강조하며 "모레는 이러한 소프트웨어 기술을 기반으로 고객이 특정 하드웨어에 종속되지 않고 자신에게 가장 효율적인 '토큰 팩토리'를 구축할 수 있도록 지원하고, 글로벌 AI 인프라 시장에서 새로운 표준을 만들어 나가겠다"고 덧붙였다.

모레는 AMD GPU 환경에서 AI 모델 최적화를 이어왔고, 자회사 모티프테크놀로지스를 통해 파운데이션 모델 영역으로도 사업을 넓혔다.

17일까지 열리는 이번 행사에는 업계 전문가 8000명 이상과 파트너사 250곳 이상이 참여한다.


◎공감언론 뉴시스 odong85@newsis.com