5년 후 AI 추론 비용 90% 뚝 떨어지는데…기업 청구서는 늘어난다?

[서울=뉴시스]이주영 기자 = 오는 2030년이면 인공지능(AI) 운영 비용이 지금보다 90% 이상 저렴해질 것이라는 전망이 나왔다. 최근 구글이 인공지능(AI) 추론 비용을 획기적으로 낮출 ‘터보퀀트’를 발표하는 등 비용 혁신 기술이 잇따라 개발되고 있기 때문이다. 

30일 글로벌 시장조사기관 가트너는 2030년까지 1조 개의 파라미터(매개변수)를 가진 거대 모델의 추론 비용이 2025년 대비 90% 이상 하락할 것으로 내다봤다.

이는 2022년 초기 모델과 비교하면 비용 효율성이 최대 100배나 개선되는 수준으로, 생성형 AI 모델이 데이터를 처리할 때 사용하는 기본 단위인 '토큰' 가격이 빠르게 낮아지고 있기 때문이다

반도체 성능 개선, 모델 설계 혁신, 인프라 효율화, 그리고 기기 자체에서 AI를 구동하는 엣지 디바이스의 확산 등이 복합적으로 작용한 결과라고 가트너측은 설명했다.

실제 토큰 가격 하락은 이미 현실화되고 있다. 최근 구글 리서치는 AI 모델의 추론 과정에서 발생하는 메모리 병목 현상을 해결하는 압축 알고리즘 '터보퀀트'를 발표했다. AI가 대화 맥락을 기억하는 데 필요한 용량을 기존 대비 6분의 1로 압축하는 기술이다.

문제는 기업이 써야 할 '토큰'의 양도 폭발적으로 늘어난다는 점입니다.

가트너는 AI 토큰 가격이 하락하더라도 기업이 지출해야 하는 전체 AI 비용은 줄지 않을 것이라고 진단했다. AI 성능이 발전될수록 더 많은 토큰을 사용하는 구조이기 때문이다.

최근 확산 중인 AI 에이전트는 하나의 작업을 완료하기 위해 수십 번의 추론 과정을 반복한다. 이에 따라 기존 챗봇 대비 작업당 최소 5배에서 최대 30배까지 많은 토큰을 사용한다.

AI가 단순 질의응답을 넘어 복합 업무를 수행하는 방향으로 진화하면 이를 사용하는 사람들이 많아지면서 연산 수요는 증가한다. 기술 혁신으로 토큰 단가가 10분의 1로 낮아져도, AI 에이전트가 복합 업무를 수행하며 사용량이 30배 늘어나면 전체 비용은 3배 증가한다.

윌 소머 가트너 애널리스트는 "토큰 단가가 낮아지는 것을 고급 AI의 대중화로 오해해서는 안 된다"며 "기초적인 AI는 공짜에 가까워지겠지만, 고난도 추론을 위한 자원은 여전히 희귀하고 비쌀 것"이라고 밝혔다. 이어 "이에 대한 고민없인 향후 에이전트 기반 AI 확장 단계에서 한계에 직면하게 될 것"이라고 경고했다.
 
가트너는 앞으로 기업의 AI 경쟁력이 단순히 '좋은 모델을 쓰는 것'이 아니라, 여러 모델을 얼마나 효율적으로 섞어서 운영하느냐(오케스트레이션)에 달려 있다고 분석했다.

반복적이고 빈도가 높은 업무는 덩치 큰 모델 대신 소형 모델(sLLM)이나 특정 분야 특화 모델로 처리해 비용을 낮추고, 비용이 비싼 최첨단 프런티어급 모델은 복잡하고 부가가치가 높은 전략적 의사 결정에만 선택적으로 투입해야 한다는 설명이다.


◎공감언론 뉴시스 [email protected]