배보다 배꼽이 커진 AI 비용…기업들 절감 노력 한창

[서울=뉴시스] 강영진 기자 = 직원들에게 인공지능(AI) 사용을 극대화하라고 권장하던 기술 기업들이 최근 AI 사용 비용이 급증하면서 반대로 최소화하도록 권장하고 있다고 미 뉴욕타임스(NYT)가 18일(현지시각) 보도했다.

NYT는 이를 AI 사용 최대화(Tokenmaxxing) 정책이 최소화(Tokenminning; Tokenminimizing의 줄인 말) 정책으로 바뀐 것이라고 표현했다.

여기서 토큰(token)은 단어 조각에 해당하는 AI 사용 단위를 가리킨다.

메타와 아마존의 직원들은 토큰 사용량을 추적하는 순위표에서 경쟁까지 했다.

그런데 앤스로픽과 오픈AI 등 AI 회사들의 청구서가 날아들었고, 금액이 만만치 않았다. 이제 토큰맥싱의 시대는 끝난 것으로 보인다.

메타는 지난주 직원들에게 비용이 "기하급수적으로" 증가한 것을 확인한 후 곧 AI 사용을 제한할 것이라고 알렸다.

지난달 우버는 연간 AI 지출 예상액을 단 4개월 만에 초과했다고 밝혔으며, AI 코딩 도구에 월별 한도를 일부 설정했다.

월마트도 AI 도구별로 한도를 정했다. 아마존과 메타는 토큰맥싱 순위표를 내렸다.

다시 말해, “토큰미닝"이 이제 대세가 됐다.

오픈AI와 앤스로픽은 AI 모델 사용료로 월 10 달러에서 200 달러의 구독료를 받는다. 구독자가 사용 한도에 도달하면 이용이 차단된다. 그러나 수익의 대부분은 메타, 쇼피파이, 아마존 같은 기업들에 도구를 제공하는 데서 나온다.

이 기업들은 구독료뿐만 아니라 직원들이 사용한 토큰에 대해서도 비용을 지불한다. 따라서 토큰이 많이 사용될수록 AI 비용도 늘어난다.

회사 회의 녹취록을 AI에게 요약해달라고 요청하는 것과 같은 단순한 작업만으로 수백 개의 토큰을 사용할 수 있다. 새 제품이나 기능을 만드는 코드 작성과 같은 더 복잡한 요청은 수만 개의 토큰을 사용할 수 있다.

AI 모델이 더 강력해지고 더 많은 토큰을 소비하면서 AI 사용 비용이 급등했다. 앤스로픽의 최신 AI 모델 페이블(Fable)은 이전 모델 오퍼스(Opus)보다 2배 비싸다.

많은 직원들이 모든 작업에 가장 강력한 모델을 사용하는데 익숙해졌다.

사람들이 AI를 사용하는 방식도 바뀌었다. 엔지니어들은 AI 챗봇과 단순히 대화하는 것을 넘어, 한 번에 몇 시간씩 복잡한 작업을 처리할 수 있는 AI "에이전트"를 배치한다. 그 결과 엔지니어들은 매달 수만 달러어치의 토큰을 사용하는 경우가 많다.

이처럼 AI 비용이 급증하면서 많은 기업들이 AI 이용을 보다 실용적으로 하기 위해 노력하고 있다.

그렇다고 기업들이 AI 지출을 크게 삭감하는 정도까지는 아직 나아가지 않고 있다.

메타는 올해 AI 사용에 수십억 달러를 지출할 예정이지만 "비슷하거나 더 나은 사업성과를 내면서 지출을 줄일 수 있는 곳을 찾으려 한다"고 직원들에게 밝혔다.

기업용 소프트웨어 기업 세일즈포스의 마크 베니오프 CEO는 올해 AI에 수억 달러를 지출할 계획이지만 이제는 토큰 대신 "에이전트 업무 단위(agentic work units)"를 추적한다고 말했다. 새 지표는 단순한 사용량이 아닌 산출물을 측정하기 위한 것이다.

이처럼 대세가 된 ”토큰미닝"이 앤스로픽과 오픈AI의 수익에 어떤 영향을 미칠지는 아직 확실하지 않다. 

올해 토큰맥싱이 절정에 달했을 때 AI 기업들은 코딩 도구 사용에 힘입어 사상 최대 매출을 기록했다.

지난주 메타는 엔지니어들에게 가능하면 외부 도구 대신 내부 코딩 보조 도구인 메타코드(MetaCode)를 사용하라고 지시했다.

이처럼 기업들은 복잡한 작업에만 최첨단 AI를 사용하고 다른 경우에는 더 저렴한 모델로 대체하는 방향으로 나아가고 있다.

AT&T의 앤디 마커스 최고AI책임자는 덜 고급스러운 AI 모델을 선택함으로써 비용을 최대 90%까지 절약할 수 있다고 밝혔다.


◎공감언론 뉴시스 [email protected]