동국대, 대규모 언어모델 '메모리 병목' 줄이는 반도체 구조 제시

[서울=뉴시스]이예인 인턴 기자 = 동국대학교는 김성준 전자전기공학부 교수 연구팀이 서울과학기술대와의 공동연구로 대규모 언어모델(LLM)의 메모리 병목을 줄이는 메모리 내 연산(PIM) 구조를 제시했다고 16일 밝혔다.

PIM은 메모리 안에서 직접 연산을 처리해 데이터 이동을 줄이는 기술이다.

LLM은 이전 연산 정보를 담는 '키-값(KV) 캐시'가 커지면서 메모리 부담이 늘고 있다. 기존 PIM은 오래 보관할 모델 가중치와 빠르게 갱신되는 KV 캐시를 한 가지 방식으로만 처리해 한계가 있었다.

연구팀은 하나의 소자에 빠른 메모리 방식과 보존력이 높은 메모리 방식을 함께 구현했다. 빠른 방식은 수시로 갱신되는 KV 캐시 저장에, 보존 방식은 모델 가중치 저장과 곱셈-누산 연산에 쓰도록 설계했다.

실험 결과 빠른 방식은 140나노초 만에 동작했고, 보존 방식은 3비트 데이터를 1만 초간 안정적으로 유지했다.

김 교수는 "LLM의 메모리 병목과 전력 소모를 줄이는 차세대 AI 하드웨어 기술로 활용될 수 있을 것"이라고 말했다.

연구에는 심원보 서울과기대 교수가 공동 교신저자로 참여했으며, 결과는 국제학술지 '머티리얼스 호라이즌스'에 지난달 3일 온라인 게재됐다.


◎공감언론 뉴시스 yein020528