UNIST, 양자컴퓨팅으로 AI 학습 효율 높여…계산 부담 최대 80% 절감

[울산=뉴시스] 구미현 기자 = 국내 연구진이 양자컴퓨팅을 활용해 환경 변화에도 안정적으로 작동하는 '강인한 강화학습'의 계산 부담을 획기적으로 줄이는 기술을 개발했다. 최악의 상황을 탐색하는 핵심 과정을 양자 알고리즘으로 가속해 기존 대비 계산량을 최대 80% 줄였으며, 해당 연구는 세계 3대 인공지능(AI) 학회인 ICML 2026에 채택됐다.

울산과학기술원(UNIST)은 인공지능대학원 윤성환 교수팀과 고려대학교 전기전자공학부 김중헌 교수팀이 양자 알고리즘을 이용해 '강인한 강화학습(Robust Reinforcement Learning)'의 계산 비용을 획기적으로 줄이는 학습 기법인 'QRIM(Quantum Robust Inner Minimization)'을 개발했다고 6일 밝혔다.

이번 연구는 세계 3대 AI 학회인 국제머신러닝학회(ICML 2026)에 채택됐다. 올해 ICML에 채택된 양자 인공지능 분야 논문 가운데 국내 연구기관이 주도한 연구는 이번이 유일하다.

강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 학습하는 방식으로 인간의 학습 과정과 유사한 특징을 갖는다. 그러나 실제 환경이 학습 환경과 조금만 달라져도 성능이 크게 저하된다는 한계가 있다. 예를 들어 맑은 날의 도로 환경만 학습한 자율주행차는 비나 눈으로 노면 상태가 달라질 경우 적절히 대응하지 못할 수 있다.

이 같은 문제를 해결하기 위해 등장한 것이 '강인한 강화학습'이다. 학습 과정에서 발생할 수 있는 최악의 상황을 미리 찾아 이에 대비하도록 AI를 훈련하는 방식이다. 하지만 가능한 모든 경우를 하나씩 확인해야 하는 '최악의 상황 탐색' 과정 때문에 환경 변화 가능성이 늘어날수록 계산 비용이 급격히 증가해 실제 산업 현장 적용의 걸림돌로 지적돼 왔다.

연구팀은 이러한 계산 병목을 양자컴퓨팅의 '중첩(superposition)' 원리를 활용해 해결했다. 양자컴퓨팅은 여러 경우의 수를 동시에 표현할 수 있는 특성을 지니는데, 연구팀이 개발한 QRIM은 이를 활용해 최악의 시나리오를 훨씬 빠르게 탐색한다. 예를 들어 1만 개의 시나리오를 검토해야 할 경우 기존에는 1만 번의 계산이 필요했지만, QRIM은 약 100번의 확인만으로 동일한 결과를 얻을 수 있다.

실험 결과 QRIM은 기존 방식 대비 약 20~30% 수준의 계산량만으로도 더 높은 강인성을 확보했다. 또한 IBM 양자컴퓨터에서 수행한 검증 실험에서도 정상적으로 작동했으며, 양자 하드웨어의 잡음(noise)이 존재하는 환경에서도 강인성을 유지하는 것으로 확인됐다.

제1저자인 이현규 연구원은 "강인한 강화학습의 가장 큰 병목인 '최악의 상황 탐색' 과정을 양자 알고리즘으로 가속할 수 있도록 새롭게 설계한 기술"이라며 "기존 강화학습 알고리즘은 그대로 유지한 채 탐색 과정만 양자 모듈로 대체할 수 있어 다양한 강화학습 분야에 폭넓게 적용할 수 있다"고 설명했다.

윤성환 교수는 "이번 연구는 양자컴퓨팅이 기존 인공지능의 한계를 어떻게 보완할 수 있는지를 구체적으로 보여준 사례"라며 "환경 변화에 대한 적응이 필수적인 로보틱스와 자율주행 등 다양한 분야에서 활용될 것으로 기대한다"고 말했다.

ICML(International Conference on Machine Learning)은 ICLR, NeurIPS와 함께 세계 3대 AI 학회로 꼽힌다. ICML 2026은 7월 6일부터 11일까지 서울 코엑스에서 열리며, 전 세계에서 2만3918편의 논문이 제출돼 6352편이 채택됐다.

이번 연구는 과학기술정보통신부 재원으로 한국연구재단(NRF)의 중견연구사업과 정보통신기획평가원(IITP)의 인공지능대학원지원사업, AI 스타펠로우십사업, 지역지능화혁신인재양성사업, SW Star Lab 사업의 지원을 받아 수행됐다.


◎공감언론 뉴시스 [email protected]