아마존·구글 자체 칩 내놓아도…경쟁 무대는 GPU 밖으로
베라 루빈, 7개 칩·5종 랙으로 데이터 병목 줄여
미국 정보기술(IT) 전문매체 테크크런치는 29일(현지시간) 엔비디아의 경쟁력이 이제 GPU 성능뿐 아니라 대규모 AI 데이터센터의 연산과 데이터 흐름을 조율하는 능력에서도 나온다고 평가했다. 아마존과 구글 등 대형 클라우드 업체가 자체 AI 칩을 개발하면서 GPU 시장의 경쟁은 거세졌지만, 연산·메모리·저장·통신 장비를 함께 최적화하는 일은 여전히 어렵다는 설명이다.
테크크런치가 이런 분석을 내놓은 계기는 엔비디아의 지난 26일 실적 발표였다. 엔비디아의 올해 7월26일 종료 분기(회사 기준 2027회계연도 2분기) 매출은 962억달러로 지난해 같은 기간보다 106% 늘었고, 데이터센터 매출은 890억달러로 117% 증가했다. 테크크런치가 특히 주목한 것은 양산 단계에 들어간 차세대 플랫폼 ‘베라 루빈’의 구조였다.
AI 데이터센터가 전력 사용량이 기가와트급에 이를 정도로 대형화되면서 함께 조율해야 할 GPU·CPU·메모리·저장장치도 크게 늘었다. 데이터의 적기 이동은 소규모 데이터센터에서도 필요하지만, 장비와 처리할 데이터가 늘수록 전송 경로가 복잡해져 병목이 생길 가능성이 커진다. 필요한 데이터가 늦게 도착하면 값비싼 GPU의 대기 시간이 늘어 전체 처리 효율이 떨어진다.
이에 따라 효율 경쟁도 GPU의 연산 속도만 따지는 단계에서 데이터센터 전체가 같은 전력으로 얼마나 많은 작업을 처리하느냐를 겨루는 쪽으로 옮겨가고 있다. AI가 문장을 만들 때 처리하는 최소 단위인 ‘토큰’을 같은 전력으로 더 많이 생성하면서 장비 사이의 데이터 이동 시간까지 줄이는 것이 중요해졌다.
베라 루빈에는 GPU를 탑재한 ‘NVL72’ 랙과 베라 CPU 랙, AI의 답변 생성 시간을 줄이는 ‘그록3 LPX’ 추론 가속기 랙이 포함된다. AI 모델의 데이터를 저장하고 불러오는 ‘블루필드4 STX’ 랙과 여러 랙을 고속으로 연결하는 ‘스펙트럼6 SPX’ 네트워크 랙도 있다. 이들 5종의 랙 시스템이 하나의 베라 루빈 플랫폼을 이룬다.
테크크런치는 GPU가 자동차의 엔진이라면 CPU·저장장치·네트워크는 자동차의 나머지 장치에 해당한다고 비유했다. 엔비디아가 고성능 GPU를 공급하는 데 그치지 않고 AI 데이터센터 전체가 하나의 슈퍼컴퓨터처럼 움직이게 하는 시스템을 함께 공급한다는 의미다.
이 가운데 데이터 이동을 조율하는 핵심 장비 중 하나가 베라 CPU다. 엔비디아의 저장장치 기술 담당 부사장 제이슨 하디는 테크크런치와의 인터뷰에서 한 서버에 넣을 수 있는 메모리는 한정돼 있다고 설명했다. 따라서 필요한 데이터를 플래시 메모리 기반 저장장치에서 GPU로 제때 공급하는 능력이 중요하다는 것이다.
저장장치와 네트워크 랙도 GPU가 데이터를 기다리는 시간을 줄이는 역할을 한다. 블루필드4 STX는 AI 모델이 문맥을 유지하는 데 필요한 대규모 임시 데이터를 저장하고 빠르게 불러오며, 스펙트럼6 SPX는 랙 사이의 통신 지연을 줄인다.
GPU 밖에서 발생하는 데이터 이동 병목을 줄이려는 기업은 엔비디아만이 아니다. 오픈AI도 자체 개발한 첫 추론용 AI 칩 ‘할라페뇨’를 설계하면서 칩·메모리·네트워크·소프트웨어와 랙 시스템을 함께 최적화했다. 필요한 데이터를 연산이 이뤄지는 시스템 안에 유지해 장비 사이의 이동과 통신 지연을 최소화하려는 접근이다.
AI 반도체 경쟁은 더 빠른 GPU를 만드는 싸움에서 연산·메모리·저장·통신을 얼마나 효율적으로 연결하느냐를 겨루는 전체 시스템 경쟁으로 이동하고 있다. 테크크런치는 7종의 칩과 5종의 랙 시스템으로 구성된 플랫폼을 내놓은 엔비디아가 이 경쟁의 초반에는 앞서 있다고 평가했다. 다만 오픈AI와 대형 클라우드 업체들도 자체 시스템 개발에 나선 만큼 엔비디아가 이 우위를 얼마나 오래 유지할지는 더 지켜봐야 한다고 덧붙였다.
◎공감언론 뉴시스 yunghp@newsis.com