H100 기반 임대비 1년새 60%↑…AI 서비스 급성장에 공급 부족
구글선 프로젝트끼리 자원 배분 갈등…스타트업·VC까지 GPU 확보전
월스트리트저널(WSJ)은 9일(현지시간) 연산자원 부족이 AI 붐의 새로운 병목으로 떠오르면서 경쟁사 간 제휴부터 빅테크 내부의 자원 배분 다툼, 스타트업의 장기계약 부담까지 업계 전반에서 컴퓨팅 자원 쟁탈전이 벌어지고 있다고 보도했다.
AI 모델을 훈련하고 서비스를 운영하는 데 필요한 컴퓨팅 파워를 업계에서는 '컴퓨트(compute)'라고 부른다. GPU 같은 AI칩을 갖춘 데이터센터에서 제공하는 연산자원이 핵심인데, 수요가 공급을 앞지르면서 필요한 시점에 충분한 규모를 확보하기가 갈수록 어려워지고 있다.
수요가 몰리면서 가격도 뛰고 있다. 데이터·컨설팅업체 세미애널리시스에 따르면 엔비디아 H100 칩 기반 연산자원을 1년 계약으로 빌릴 때의 시간당 비용은 지난 1년 사이 60% 올랐다.
앤트로픽은 클로드 코드가 예상 밖의 인기를 끌면서 연산자원이 빠듯해졌고, 이는 잦은 서비스 장애의 한 원인이 됐다. 공동창업자 톰 브라운은 지난 3월 말 미국 캘리포니아주 호손에 있는 경쟁 AI 기업 xAI 사무실을 찾아 머스크와 연산자원 임대 협상을 벌였다. 이어 앤트로픽은 5월 스페이스X로부터 전력 기준 300MW가 넘는 규모의 컴퓨팅 자원을 임차하는 계약을 발표했다. 이 계약은 향후 수년간 최대 450억달러 규모로 알려진 스페이스X와의 더 큰 거래의 일부다.
머스크는 이전까지 앤트로픽을 공개적으로 비판했지만 계약 발표 뒤에는 앤트로픽 고위 관계자들에게 "감명받았다"고 했다. 앤트로픽의 다리오 아모데이 최고경영자(CEO)는 올해 메타 최고AI책임자 알렉산더 왕과도 추가 연산자원 확보를 놓고 통화했다. 메타는 앤트로픽에 칩을 제공할지를 논의했지만 일단 제공하지 않기로 했다.
연산자원 부족은 앤트로픽만의 문제가 아니다. 구글 모회사 알파벳은 올해 자본지출이 최대 2000억달러(약 268조원)에 이를 것으로 예상하고 있으며 상당 부분을 AI 인프라에 투입할 계획이다. 구글 내부에서는 이와 별개로 한정된 연산자원을 어느 프로젝트에 먼저 배정할지를 놓고 갈등이 벌어지고 있다.
연산자원 배분 문제는 노암 샤지어가 맡았던 팀에서도 불거졌다. 구글은 2024년 27억달러를 들여 샤지어를 다시 데려와 제미나이를 비롯한 첨단 AI 프로젝트에 투입했다. 복귀 2년도 채 지나지 않아 샤지어는 자신이 맡은 한 팀에 배정된 연산자원이 다른 프로젝트로 넘어갔다는 내용의 메모를 보냈다. 얼마 지나지 않아 그는 경쟁사 오픈AI로 옮겼다.
연산자원 품귀가 심해지면서 데이터센터의 가용 자원을 찾아 AI 기업에 연결하는 사업도 성장하고 있다. 데이터센터를 검증한 뒤 이용 가능한 연산자원을 AI 기업들이 빌려 쓸 수 있도록 연결하는 샌프란시스코 컴퓨트의 에번 콘래드 CEO는 "지금 거대한 골드러시가 벌어지고 있다"며 "그 규모를 온전히 이해하기도 어렵다"고 말했다.
이 회사의 에릭 박 최고기술책임자(CTO)는 이용 가능한 연산자원을 찾아 세계 곳곳을 돌아다닌다. 미국 농촌에서는 닭장을 개조한 듯한 건물에서 AI 서버가 돌아가는 데이터센터를 발견했고, 필리핀 마닐라에서는 침수된 도로를 헤치고 이동한 뒤 대만으로 날아가 AI 서버 제조업체를 만났다.
이처럼 세계 곳곳의 가용 자원을 찾아야 하는 배경에는 데이터센터 공급을 빠르게 늘리기 어렵다는 문제가 있다. 새 데이터센터를 짓는 데는 수년이 걸리고 규제와 정치적 반발로 건설이 지연되는 경우도 있다. 발표된 공급 규모와 지금 실제로 쓸 수 있는 물량 사이에는 큰 차이가 있다는 지적도 나온다.
캐나다 AI 스타트업 코히어 공동창업자 닉 프로스트는 발표된 데이터센터 계획이 취소되거나 실제 건설 규모가 크게 줄어든 사례가 많다고 말했다. 오픈소스 AI 스타트업 아르시는 인프라 업체로부터 자금과 연산자원을 제공받기로 했지만 해당 업체의 데이터센터 건설이 지연되면서 거래가 무산됐다.
하지만 오픈AI·앤트로픽·구글 등 최첨단 AI 모델 개발업체들이 이용 가능한 연산자원을 대거 확보하면서 공급업체들은 다년 계약을 요구하고 있다. 계약액의 최대 30%에 이르는 선납금을 요구하거나, 스타트업이 비용을 내지 못할 경우 대신 지급할 보증인을 세우도록 하는 경우도 있다. 연산자원이 절실해 보안이나 기반시설이 취약한 업체와 계약하는 스타트업도 늘고 있다.
필요한 연산자원을 얼마나 미리 확보해야 하는지도 기업에는 어려운 문제다. 너무 많이 계약하면 장기 임대료가 재무를 짓누르고, 너무 적게 확보하면 서비스가 수요를 따라가지 못해 성장 기회를 놓칠 수 있다.
AI 에이전트 스타트업 인스팅트는 지난달 기업가치 100억달러를 인정받으며 10억달러를 조달했다. 하지만 메타·오픈AI처럼 자본과 연산자원이 훨씬 많은 경쟁사들을 상대하고 있다. 노아 신 인스팅트 CEO는 최근 팟캐스트에서 앞으로 이용자가 1억명으로 늘어날 상황에 대비해 지금부터 연산자원을 사둬야 할지를 고민하고 있다고 말했다. 예상만큼 성장하지 못하면 지나치게 많은 장기 임대계약이 오히려 회사를 위기에 빠뜨릴 수 있기 때문이다.
이런 문제에 대응해 일부 벤처캐피털도 투자금만 제공하는 데서 벗어나 연산자원 확보에 직접 나서고 있다. 지난해 와이콤비네이터의 한 스타트업은 두 달간 모델을 훈련하는 데 필요한 GPU 120개를 확보할 적절한 계약을 찾지 못했다. 이에 와이콤비네이터는 올해 7월 소속 스타트업 전용 GPU 클러스터를 가동했다.
AI 전문 벤처캐피털 래디컬벤처스는 전담팀을 두고 이용 가능한 GPU와 가격, 계약 조건을 추적한다. 데이비드 카츠 래디컬벤처스 파트너는 GPU를 사들여 고객에게 빌려주는 '네오클라우드' 업체 대표들과 직접 연락해 물량을 확인한다. 래디컬벤처스는 투자 결정을 내리기 전부터 투자 후보 기업을 연산자원 공급업체에 미리 알려 실제 투자할 경우 필요한 물량을 확보할 수 있는지도 확인한다. 카츠 파트너는 "예전에는 '자본을 어디서 구하느냐'가 문제였다면 이제는 '누가 우리를 도와줄 수 있느냐'가 문제"라며 "이들 기업에 흘러다니는 자본은 많지만 이런 시스템을 어떻게 구축해야 하는지에 대한 깊은 전문지식은 많지 않다"고 말했다.
◎공감언론 뉴시스 yunghp@newsis.com