"비싼 엔비디아 장비 없어도 빠르게"…고려대, AI 비용 절감 기술 개발

[서울=뉴시스]박시은 인턴 기자 = 챗지피티(GPT), 구글 제미나이(Gemini)와 같은 인공지능 대규모언어모델(LLM)을 운영할 때 필요한 서버 비용을 대폭 낮추면서도 처리 성능은 오히려 높일 수 있는 길이 열렸다.

고려대학교는 안정섭 전기전자공학부 교수 연구팀이 LLM 서비스의 GPU(그래픽처리장치) 활용 효율을 높이고 병목 현상을 줄이는 혁신적인 스케줄링(작업 분배) 기술을 개발했다고 13일 밝혔다.

LLM은 크기가 커서 모델을 여러 대의 GPU에 나눠 작업을 처리하는 '병렬화'가 필수적이다. 현재 업계에서 널리 쓰이는 '텐서 병렬화'는 여러 GPU가 데이터를 주고받으며 동시에 작업을 처리하는 방식으로, 엔비디아의 엔비링크(NVLink)와 같은 값비싼 고속 연결망이 필수적이다.

여러 GPU를 층(layer) 단위로 나누고 이를 컨베이어 벨트처럼 처리하는 '파이프라인 병렬화'로는 고속 연결망 없이 일반 표준 서버(PCIe 기반)를 통해 더 높은 처리량을 낼 수 있다. 다만 유휴 시간이 발생하는 '파이프라인 버블' 문제 때문에 실제 서비스에서는 잘 쓰이지 않았다.

이에 연구팀은 실제 사용자 요청 환경에서도 높은 성능을 구현하는 기술을 고안했다. 시스템이 응답 속도 목표(SLO)를 감시하며 긴 입력 문장을 가장 최적의 크기로 처리하는 기술을 개발하고, 단계별 부하를 점검해 특정 GPU에 과도하게 작업이 몰리거나 유휴 시간이 발생하지 않도록 분배하는 방식도 함께 제안했다.

이를 핵심 추론 엔진(SGLang)에 구현해 실제 서비스 환경과 유사한 조건에서 성능을 평가한 결과, 업계 표준인 텐서 병렬화보다 더 높은 처리 성능을 달성했다.

특히 사용자가 질문하고 AI가 답하는 형태인 '대화형 워크로드' 환경에서는 기존 파이프라인 병렬화 방식 대비 답변 속도가 35% 빨라졌으며, 사용자가 질문 후 최종 답변을 받기까지 기다려야 하는 대기 시간도 32% 단축됐다.

안 교수는 "고가의 전용 고속 연결망 없이 일반 GPU 서버만으로도 현재 업계 표준인 텐서 병렬화 보다 더 높은 처리 성능을 달성했다"며 "이는 LLM 서비스의 운영 비용을 낮추고 자원 효율을 높일 수 있는 길을 열었다는 점에서 의미가 크다"고 밝혔다.

한편 이번 연구는 정보통신기획평가원(IITP), 한국전자통신연구원(ETRI), SK하이닉스의 지원으로 수행됐으며 연구 성과는 이달 13일부터 15일까지 미국 시애틀에서 개최되는 컴퓨터 시스템 분야 국제 학술대회인 'OSDI 2026'에 채택됐다.


◎공감언론 뉴시스 [email protected]