컴퓨터공학과 DISCOS 연구실 소속 연구진 성과
LLM 단기 저장소 압축 기술 '서러게이트 KV' 연구
27일 서강대에 따르면 수상 논문은 DISCOS 연구실 소속 김준원 학생과 유정현 박사과정, 김영재 교수가 저술한 '서러게이트(Surrogate) KV: 어텐션 안정화 기반 의미보존 KV 캐시 압축'이다.
인공지능(AI)은 긴 글을 처리할 때 이전에 읽은 문맥을 'KV 캐시'라는 단기 기억 저장소에 저장해 둔다. 다만 문장이 길어질수록 용량이 급증해 GPU(그래픽처리장치) 메모리가 부족해지고 답변 속도가 느려진다.
이에 기존에는 덜 중요한 구간을 삭제하는 방식으로 대처했지만, 문맥 연결이 끊겨 AI가 내용을 왜곡하거나 성능을 떨어뜨린다는 한계가 있었다.
서강대 연구팀이 제안한 '서러게이트 KV'는 덜 중요한 구간을 완전히 지우는 대신, 해당 구간을 '대체 KV 토큰'으로 축소해 치환하는 방식이다. 이를 통해 AI가 전체 흐름을 놓치지 않으면서도 기억 용량을 대폭 줄일 수 있도록 했다.
연구진에 따르면 실험 결과, KV 캐시를 25%만 남긴 조건에서 기존의 대표 압축 기술인 '피라미드(Pyramid) KV' 대비 평가 점수 기준 9.73점 높은 성능을 기록했다.
해당 기술은 문서 요약, 장문 질의응답, 검색 기반 생성(RAG) 등 대용량 문맥을 다루는 AI 서비스의 비용을 낮추고 답변 정확도를 높이는 데 폭넓게 활용될 전망이다.
논문의 제1 저자인 컴퓨터공학과 21학번 김준원 학생은 "학부생으로서 직접 연구를 설계하고 구현 및 실험한 결과가 좋은 성과로 이어졌으며, 이번 경험을 계기로 다양한 연구 기회에 적극적으로 도전하며 역량을 넓혀가고 싶다"고 수상 소감을 밝혔다.
◎공감언론 뉴시스 xieunpark@newsis.com