작은 양자 회로 존재하는 수학적 조건 규명…탐색 알고리즘도 개발
연산 부담 줄이고 잡음에 따른 성능 저하 완화…CIKM 2026 채택
[울산=뉴시스] 구미현 기자 = 복잡한 양자 인공지능(AI) 회로에서 성능에 꼭 필요한 연산만 골라내 계산 부담과 잡음의 영향을 줄일 수 있는 기술이 개발됐다. 전체 회로의 설정값을 바꾸지 않고도 높은 성능을 내는 작은 회로를 찾아낼 수 있어 효율적인 양자 AI 모델 구현에 도움이 될 전망이다.
울산과학기술원(UNIST) 인공지능대학원 윤성환 교수팀은 고려대 전기전자공학부 김중헌 교수팀과 함께 양자 신경망 안에 고성능 소형 회로가 존재할 수 있는 수학적 조건을 증명하고 이를 찾아내는 알고리즘 '큐 엣지팝업(Q-Edge-popup)'을 개발했다고 18일 밝혔다.
이번 연구는 무작위로 초기화된 큰 AI 신경망 안에도 가중치를 바꾸지 않고 높은 성능을 내는 작은 신경망이 존재한다는 '강한 복권 가설(Strong Lottery Ticket Hypothesis)'을 양자 AI에 확장한 것이다. 연구팀은 양자 신경망에서도 게이트 수가 충분하고 일정한 수학적 조건을 만족하면 성능이 우수한 작은 회로가 높은 확률로 존재한다는 사실을 밝혀냈다.
양자 신경망은 정보를 처리하는 기본 연산인 '양자 게이트'를 연결해 구성된다. 큐 엣지팝업은 각 게이트의 설정값을 고정한 상태에서 과제 수행 성능을 바탕으로 게이트별 선택 점수를 학습하고 점수가 높은 게이트만 남기는 방식이다. 선별된 회로는 이후 설정값을 추가로 학습해 성능을 더 높일 수도 있다.
손글씨 숫자 이미지 분류 시뮬레이션에서는 회전 게이트 3840개로 구성된 회로의 절반만 남기고도 설정값 변경 없이 75.2%의 정확도를 기록했다. 남겨진 게이트를 추가 학습하자 정확도는 79.4%로 높아졌다. 전체 게이트를 학습한 회로의 정확도인 81.3%에 근접한 결과다.
잡음에 대한 내성도 확인됐다. 회전 게이트의 25%만 남긴 회로는 잡음이 없을 때 76.2%, 잡음이 적용됐을 때 74.7%의 정확도를 기록해 성능 저하가 크지 않았다. 반면 전체 게이트를 사용한 회로는 같은 잡음 조건에서 정확도가 81.3%에서 10.0%로 떨어졌다. 여러 종류의 잡음을 함께 적용한 비교 실험 결과다.
윤성환 교수는 "양자 신경망은 게이트가 많아질수록 잡음이 누적될 수 있어, 적은 수의 게이트로도 유용한 성능을 내는 회로를 찾는 것이 중요하다"며 "이번 연구가 연산 부담과 잡음에 따른 성능 저하를 줄이는 양자 AI 모델 개발에 도움이 될 것으로 기대한다"고 말했다.
이번 연구는 'ACM 국제 정보·지식관리 학술대회(CIKM 2026)'에 채택됐다. 학회는 11월 7일부터 11일까지 이탈리아 로마에서 개최됐다.
연구는 과학기술정보통신부와 한국연구재단의 중견연구사업, 정보통신기획평가원의 인공지능대학원지원사업, AI 스타펠로우십사업, 지역지능화혁신인재양성사업의 지원을 받아 수행됐다.
◎공감언론 뉴시스 gorgeouskoo@newsis.com