AI 토큰 비용 부담 커지자…美 기업들, 사용량 줄인다

 [서울=뉴시스]고재은 기자 = 인공지능(AI)을 앞다퉈 도입했던 기업들이 이제는 사용량을 통제하며 비용 관리에 나서고 있다. AI에이전트 확산과 토큰 기반 요금제 도입으로 부담이 커지면서 투자 대비 효과를 따지기 시작했다.

18일(현지 시간) 파이낸셜타임스(FT)에 따르면 아마존·월마트·시스코·우버·메타 등 AI를 초기 적극 도입했던 기업들은 최근 이용 한도를 설정하거나 불필요한 사용을 줄이고, 직원들에게 상대적으로 저렴한 모델 사용을 권장하며 비용 절감에 나서고 있다.
 
이 같은 변화는 직원들이 단순 챗봇을 넘어 복잡한 업무를 수행하는 'AI 에이전트'를 활용하기 시작하며 나타났다. AI 에이전트는 더 많은 연산 자원을 필요로 하는 만큼, 기업들도 AI에 맡기는 업무가 충분한 가치를 창출하는지 검토하기 시작했다.

특히 앤트로픽, 오픈AI 등 AI 기업들이 일부 서비스를 정액제 구독 방식에서 '토큰 기반 요금제'로 전환하면서 뚜렷해지고 있다. 토큰 기반 요금제는 AI 모델이 처리한 데이터 양에 따라 비용을 부과하는 방식으로, 비용 변화를 이용자가 체감하기 비교적 쉽다.

골드만삭스에 따르면 AI에이전트 사용으로 2030년까지 토큰 소비가 24배 증가할 것으로 예상된다. 수요가 크게 늘면서 향후 12~18개월 도안 칩 부족 현상도 심화될 것으로 보인다.

딜로이트 글로벌 생성형 AI 부문 코스티 페리코스는 "이제 이사회 머릿속에 컴퓨팅 비용이 들어오기 시작했다"며 "소비자와 기업들은 그동안 AI가 저렴하거나 무료라고 생각해 왔지만, 실제로는 그렇지 않다"고 말했다.

우버는 지난 4월 연간 AI 예산 조기에 소진한 후, 직원 1인당 AI용 토큰 사용액을 1500달러로 제한했다. 월마트도 직원들이 사용할 수 있는 토큰을 제한하면서 AI 에이전트 사용을 줄이고 있다.

특히 중소기업들은 비용 증가의 충격을 더 크게 받고 있다. 소프트웨어 기업 워카토의 최고정보책임자(CIO) 카터 부세는 앤트로픽이 지난 5월 토큰 기반 요금 체계로 전환한 뒤 첫날 AI 관련 지출이 7배 늘었다고 밝혔다.

그는 "우리가 괴물을 만들어낸 것 같았다"며 "대규모 언어모델(LLM) 기업들이 지금까지 우리의 모든 활동을 사실상 보조해 왔는데 이제는 그렇지 않다. 오히려 사용자 수 기반의 구독 모델이 우리를 보호해주고 있었다"고 말했다.

아마존은 내부적으로 "단순히 AI를 사용하기 위해 AI를 사용하지 말라"며 낭비를 줄이도록 권고했으며, 일부 기업들은 비용 절감을 위해 개인 기기에서 구동 가능한 오픈소스 모델 활용을 확대하고 있다.

고객들의 비용 부담이 커지면서 AI 기업들 역시 이용자 이탈을 막기 위한 대응에 나서고 있다. 고객이 불필요하게 고가의 최첨단 모델을 사용하는 대신 업무에 적합한 저가 모델을 선택하도록 안내하는 방식이다.

깃허브 최고운영책임자 카일 데이글은 가격 정책 변경 전 고객들과 적합한 모델 선택에 대해 논의했다고 밝혔다. 그는 "사용자들이 중요한 질문은 '이 업무에 가장 적합한 모델이 무엇인가'라는 점"이라며 "항상 최첨단 모델이 필요한 것은 아니다"라고 말했다.

FT는 기업들이 AI 확대보다 비용 효율성을 우선시하면서 기업공개(IPO)를 추진 중인 앤트로픽과 오픈AI의 성장에도 부담이 될 수 있다고 분석했다.

여러 AI모델을 비교할 수 있는 오픈라우터 데이터에 따르면 올해 초부터 중국 AI모델의 토큰 소비량이 미국 경쟁사를 앞질렀다. 중국은 저렴한 에너지 비용과 효율적인 모델을 바탕으로 미국보다 더 낮은 비용을 책정했기 때문이라고 FT는 전했다.


◎공감언론 뉴시스 [email protected]