[서울=뉴시스]이예인 인턴 기자 = 장부루 고려대학교 컴퓨터학과 교수 연구팀은 인공지능(AI)이 스스로 자료를 찾아 답변하는 과정에서 조작된 외부 문서에 이끌려 잘못된 정보를 따라갈 수 있다는 보안 취약점을 규명했다.

3일 고려대에 따르면 이번 연구는 지난달 24일부터 6일간 헝가리 부다페스트에서 열린 자연어처리 분야 국제학술대회 'EMNLP 2026'에 채택됐다.

최근 챗GPT와 제미나이의 '딥 리서치'처럼 AI가 스스로 검색·추론하며 답변하는 에이전틱 알에이지(Agentic RAG) 기술이 확산하면서, 조작 정보가 섞이면 잘못된 답변이 나올 수 있어 보안의 중요성이 커지고 있다.

이에 공격자 관점에서 취약점을 선제 파악하는 연구가 이뤄졌지만, 검색·추론을 반복하는 Agentic RAG가 실제 환경에서 공격에 어떻게 노출되는지 정밀 분석한 연구는 부족했다.

연구팀은 시스템 내부에 접근하지 않고도 Agentic RAG가 외부에 게시한 조작 문서를 차례대로 검색하도록 유도하는 공격 기법 '키드냅RAG'(KidnapRAG)을 제안했다.

이는 하나의 조작 문서로 최종 답변을 변경하는 대신, 검색 단계마다 조작 문서가 개입해 판단 방향을 점진적으로 바꾸고 최종적으로 공격자가 의도한 답변을 생성하게 하는 방식이다.

기존 공격 기법은 AI가 추론 중 오류를 알아채고 원래 질문으로 돌아오는 경우가 많았지만, KidnapRAG은 이를 막도록 설계됐다.

이때 KidnapRAG은 상용 Agentic RAG 서비스가 보여주는 검색 과정과 중간 정보를 활용한다. 공격자는 이를 토대로 다음에 찾을 정보를 파악해 검색 단계마다 노출되도록 조작 문서를 설계한다.

그 결과 KidnapRAG은 최대 78%의 공격 성공률을 기록했다.

연구팀은 이번 연구가 Agentic RAG의 검색·추론 경로 왜곡을 미리 점검하고 탐지·차단하는 보안 기술을 설계하는 데 쓰여 AI 에이전트의 안전성을 높일 것으로 기대했다.

장 교수는 "Agentic RAG가 빠르게 확산하는 시점에서 검색·추론 경로가 공격받을 수 있음을 밝힌 시의성 높은 연구"라며 "방어 기술로 확장돼 안전하고 신뢰할 수 있는 AI 에이전트 개발에 기여하길 기대한다"고 밝혔다.


◎공감언론 뉴시스 yein020528