정명수 교수팀, 고용량 CXL-GPU 메모리 읽기·쓰기 성능 최적화
기존 GPU 메모리 확장 기술보다 2.36배 빨리 대규모 AI 서비스 실행
반도체 팹리스 스타트업 '파네시아'의 초고속 CXL 컨트롤러 활용
![[대전=뉴시스] KAIST가 제안한 CXL-GPU 구조.(사진=KAIST 제공) *재판매 및 DB 금지](https://img1.newsis.com/2024/07/08/NISI20240708_0001596233_web.jpg?rnd=20240708155152)
[대전=뉴시스] KAIST가 제안한 CXL-GPU 구조.(사진=KAIST 제공) *재판매 및 DB 금지
[대전=뉴시스] 김양수 기자 = 국내 연구진이 차세대 인터페이스 기술을 활성화한 고용량·고성능 AI 가속기를 개발했다. 이 기술은 현재 AI 가속기 시장을 독점하고 있는 엔비디아(NVIDIA)에 맞설 수 있는 수준이다.
한국과학기술원(KAIST)은 전기및전자공학부 정명수 교수팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 차세대 인터페이스 기술인 CXL(Compute Express Link)이 활성화된 고용량 GPU(그래픽 처리 장치) 장치의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.
GPU의 내부 메모리 용량은 수십 기가바이트(GB)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다.
대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만 이 방법은 최신 GPU의 높은 가격으로 인해 총소유비용(TCO·Total Cost of Ownership)을 과도하게 높이는 문제가 있다.
이에 차세대 연결기술인 CXL을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는 'CXL-GPU'구조가 검토되고 있으나 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다.
대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에 GPU에 직접적으로 연결된 메모리 확장 장치로 메모리 읽기·쓰기 성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 실제 서비스에 활용될 수 있다.
기존 메모리 용량을 늘리기 위해 고가의 GPU를 추가 구매하던 방식과 달리 CXL-GPU는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축비용을 획기적으로 절감할 수 있다.
한국과학기술원(KAIST)은 전기및전자공학부 정명수 교수팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 차세대 인터페이스 기술인 CXL(Compute Express Link)이 활성화된 고용량 GPU(그래픽 처리 장치) 장치의 메모리 읽기·쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다.
GPU의 내부 메모리 용량은 수십 기가바이트(GB)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다.
대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만 이 방법은 최신 GPU의 높은 가격으로 인해 총소유비용(TCO·Total Cost of Ownership)을 과도하게 높이는 문제가 있다.
이에 차세대 연결기술인 CXL을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는 'CXL-GPU'구조가 검토되고 있으나 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다.
대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에 GPU에 직접적으로 연결된 메모리 확장 장치로 메모리 읽기·쓰기 성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 실제 서비스에 활용될 수 있다.
기존 메모리 용량을 늘리기 위해 고가의 GPU를 추가 구매하던 방식과 달리 CXL-GPU는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축비용을 획기적으로 절감할 수 있다.
![[대전=뉴시스] 고용량·고성능 GPU를 개발한 KAIST 연구진. 왼쪽 위부터 시계방향으로 전기및전자공학부 김동평·유어진 석사과정, 이상원 박사, 국동현 박사과정, 정명수 교수, 강승관·장준혁·배한여름 박사과정. *재판매 및 DB 금지](https://img1.newsis.com/2024/07/08/NISI20240708_0001596235_web.jpg?rnd=20240708155446)
[대전=뉴시스] 고용량·고성능 GPU를 개발한 KAIST 연구진. 왼쪽 위부터 시계방향으로 전기및전자공학부 김동평·유어진 석사과정, 이상원 박사, 국동현 박사과정, 정명수 교수, 강승관·장준혁·배한여름 박사과정. *재판매 및 DB 금지
KAIST 연구진은 CXL-GPU 장치의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석해 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발, GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행토록 했다.
이를 통해 메모리 확장 장치가 내부작업을 수행상태에 따라 작업을 하도록 해 GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요 없이 쓰기 성능 저하 문제를 해결할 수 있게 했다.
또 연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 정보를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 돼 GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.
이번 연구는 반도체 팹리스 스타트업인 파네시아(Panmnesia)의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다.
연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 입증했다. 해당 연구는 이달 산타클라라 USENIX 연합학회와 핫스토리지 연구 발표장에서 선보일 예정이다.
정명수 교수는 "CXL-GPU의 시장 개화시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장비용을 획기적으로 낮추는 데 기여할 수 있을 것"이라고 말했다.
◎공감언론 뉴시스 [email protected]
이를 통해 메모리 확장 장치가 내부작업을 수행상태에 따라 작업을 하도록 해 GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요 없이 쓰기 성능 저하 문제를 해결할 수 있게 했다.
또 연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 정보를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 돼 GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.
이번 연구는 반도체 팹리스 스타트업인 파네시아(Panmnesia)의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다.
연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 입증했다. 해당 연구는 이달 산타클라라 USENIX 연합학회와 핫스토리지 연구 발표장에서 선보일 예정이다.
정명수 교수는 "CXL-GPU의 시장 개화시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장비용을 획기적으로 낮추는 데 기여할 수 있을 것"이라고 말했다.
◎공감언론 뉴시스 [email protected]
