GPU 7656장 품은 국가 AI 심장부…'NHN 팩토리엑스' 가보니

[서울=뉴시스]오동현 기자 = 지난 18일 방문한 서울 영등포구 'NHN FactoryX(엔에이치엔 팩토리 엑스) 서울'. 이 곳 6층 데이터홀에는 60억원짜리 인공지능(AI) 서버 랙이 줄지어 늘어서 있었다.

서버 랙 1대에는 최신형 엔비디아 'B200' 그래픽처리장치(GPU) 서버 6대가 실렸다. 서버 1대당 GPU 8장이 들어간다. 랙 1대마다 무려 48장의 B200이 실린 셈이다. 은색 배관에서 뻗어 나온 검은 호스가 각 서버로 이어졌다. GPU와 중앙처리장치(CPU)를 식힌 냉각수는 랙 아래 열교환기(CDU)로 돌아가 다시 차가워진다.

이곳은 NHN클라우드가 건물을 빌려 구축한 최첨단 AI 데이터센터다. 올해 4월부터 GPU 자원을 본격 공급하고 있다. 총 4개 층(3~6층)에 B200 서버 957대, GPU 7656장이 빼곡히 들어찼다.

이곳의 핵심은 DLC(직접수랭식) 냉각이다. 열을 내뿜는 칩 위에 금속판을 바짝 붙이고 그 속으로 찬물을 흘려보낸다.

NHN클라우드 관계자는 "라면이 담긴 뜨거운 냄비를 찬물이 담긴 더 큰 냄비에 넣어 식히는 것과 비슷하다"며 "찬물이 라면 냄비 안으로 들어가지는 않지만 열을 빠르게 빼앗는 원리"라고 말했다.

냉각수를 만드는 설비는 지하 기계실에 있다. 대형 터보냉동기 9대가 설치됐다. 정상 운영에 필요한 8대에 예비 설비 1대를 더한 'N+1' 구조로, 한 대가 멈춰도 냉각을 이어갈 수 있다.

NHN클라우드에 따르면 공랭식 환경에서 약 70도까지 오르는 GPU 칩 온도를 이곳에서는 50도 안팎으로 관리한다. 전력 소모도 동일한 GPU 서버 기준 약 14.3㎾에서 12.3㎾로 낮아진다고 설명했다. 다만 수랭 설비 구축비가 추가로 드는 만큼 전체 비용 절감 효과는 장기 운영을 통해 따져봐야 한다고 부연했다.

최근 주목받는 액침냉각은 적용하지 않았다. 냉각 효율은 높지만 장비 제조사의 유지보수 지원을 받기 어렵기 때문이다. 고가의 AI 서버를 최소 3~5년 운영해야 하는 데이터센터에서는 제조사의 기술 지원도 중요한 고려 요소다.

AI 데이터센터는 건물이 견뎌야 할 무게부터 다르다. GPU 랙 한 대의 무게는 구성에 따라 1톤을 훌쩍 넘어선다. 여기에 수랭식 냉각을 위한 철제 배관과 배관 안을 항상 채우는 물의 무게가 더해진다.

무거운 배관을 천장에 매달기 어려워 데이터홀 바닥에 별도의 철제 빔을 세우고 배관을 받쳤다. 모든 무게가 결국 바닥으로 전달되는 구조다. NHN FactoryX 서울의 바닥은 ㎡당 2톤의 하중을 견디도록 설계됐다.

층고도 높다. 데이터홀은 8m, 전기실과 기계실은 약 9m다. 과거 전산실 층고가 약 3m였던 것과 비교하면 크게 높아졌다. 배관과 전기 케이블을 설치할 공간을 확보하고 서버 열기를 순환시키기 위해서다.

NHN클라우드 관계자는 "일반 데이터센터는 처음 설계된 전력 용량을 나중에 늘리는 것이 사실상 어렵다"며 "앞으로 나올 GPU에 대비하려면 냉각과 바닥 하중, 전력을 모두 고려해 데이터센터를 설계해야 한다"고 말했다.

이곳 GPU 7656장 가운데 3~5층에 배치된 6120장은 정부 AI 컴퓨팅 자원으로 쓰인다. 3·4층의 GPU 4080장, 510개 노드는 'NIPA-CL1'이라는 하나의 초대형 클러스터로 묶였다. 5층의 GPU 2040장, 255개 노드는 'NIPA-CL2'로 구성됐다.

GPU 클러스터는 여러 장의 GPU를 고속 네트워크로 연결해 하나의 거대한 컴퓨터처럼 작동하게 하는 구조다. AI 모델 규모가 커질수록 수천장의 GPU가 동시에 데이터를 주고받으며 연산하는 능력이 중요해진다.

두 클러스터는 세계 슈퍼컴퓨터 성능 순위인 '톱500'에도 이름을 올렸다. NIPA-CL1은 세계 20위이자 국내 1위, NIPA-CL2는 세계 40위를 기록했다. NHN클라우드는 NIPA-CL1의 성능을 측정할 때 기존 510개에 2개를 더한 512개 노드를 투입했다.

기자가 둘러본 6층에는 나머지 GPU 1536장이 배치됐다. NHN클라우드가 자체 연구·개발이나 기업 고객 대상 GPU 클라우드 서비스에 활용할 수 있는 물량이다.

전체 인프라는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 'AI 컴퓨팅 자원 활용 기반 강화 사업'을 통해 조성된 국가 소유 자산이다.

NHN클라우드는 데이터센터 임차와 장비 구매·구축, 향후 5년간 운영을 맡는다. 정부는 산업체에 GPU를 시중 가격의 약 10분의 1로 제공하고, 대학과 연구기관에는 연구·인재 양성을 위한 자원을 지원한다. 국가대표 AI 모델을 선발하는 '독자 AI 파운데이션 모델' 프로젝트의 평가와 개발에도 이곳 GPU가 활용된다.

NHN클라우드는 운영비를 별도로 받는 대신 전체 GPU의 20%를 사용할 권한을 확보했다. 이를 자체 연구·개발에 쓰거나 외부 기업에 GPU 서비스로 제공해 전기료와 임차료, 운영 인력 비용 등을 충당한다.

안전 설계도 빈틈이 없다. 전력망과 통신망은 모두 2중으로 분리했다. 외부 전기가 끊겨도 무정전전원장치(UPS)와 지하 비상발전기 10대가 즉시 가동된다.

특히 화재 위험이 있는 배터리실은 두꺼운 벽과 방화문으로 UPS실과 완전히 격리했다. 배터리에 불이 나도 다른 전력 장치로 번지지 않는다. 배터리가 망가져도 비상발전기로 전원을 돌려 서버 중단을 막는다.

관제실에는 주간 4명, 야간 2명이 상주한다. 이들은 957대의 B200 서버와 GPU 클러스터, 네트워크, 전력·냉각설비를 24시간 살핀다.

NHN클라우드 관계자는 "AI 학습 작업은 한번 시작하면 며칠에서 몇 주씩 이어질 수 있다"며 "장비나 이용자에게 문제가 생기지 않는지 24시간 계속 모니터링하고 있다"고 말했다.


◎공감언론 뉴시스 [email protected]