[서울=뉴시스]윤정민 기자 = 첨단 인공지능(AI) 모델을 활용한 에이전트가 실제 사람을 속이라는 지시를 받지 않았는데도 가짜 신원을 만들고 실제 사람에게 접근해 악성코드 삽입을 시도한 사실이 확인됐다.

영국 AI안보연구소는 4일(현지 시간) '사이버 테스트 중 발생한 AI 에이전트의 무단 행동 사고 보고서'라는 제목의 보고서를 통해 "테스트 중이던 일부 에이전트가 실제 개인, 조직을 대상으로 지속적이고 잠재적으로 유해한 활동에 관여했다"고 밝혔다.

연구진은 7개 AI 모델에 가상 전산망을 해킹해 특정 정보를 찾아내는 사이버보안 과제를 주고 인터넷 접속을 허용한 채 총 122차례 시험을 진행했다.

이 중 10차례 시험에서 AI 에이전트가 과제 범위를 벗어나 실제 사람과 기관을 대상으로 행동했다. 확인된 행동은 총 19건으로 앤트로픽 '클로드 미토스 5'가 17건, 오픈AI 'GPT-5.6 솔'이 2건을 차지했다. 연구진은 모델의 최대 공격 능력을 확인하기 위해 두 모델 모두 사이버 악용을 막는 안전장치를 해제한 상태로 시험했다.

클로드 미토스 5 기반 에이전트가 실제로 사용되는 오픈소스 소프트웨어에 악성코드를 삽입하려 한 점이 확인됐다. 에이전트는 프로젝트 관리자를 조사한 뒤 여러 개의 가짜 신원을 만들고 해당 인물에게 코드 변경을 승인하도록 압박했다.

AI는 자신의 코드가 공개적으로 의심받자 앞선 활동을 정상적인 행동처럼 보이도록 수정하고 새로운 신원으로 다시 접근하는 방안도 검토했다. 실제 사람에게 메시지와 파일을 보내 악성코드를 실행하도록 유도하거나 다른 AI 코딩 도구가 읽고 실행할 수 있는 악성 지시문을 심으려는 시도도 확인됐다.

다른 시험에서는 에이전트들이 인터넷상의 외부 계정과 서비스를 허가 없이 이용했다. GPT-5.6 솔은 인터넷에 공개돼 있던 깃허브 인증 정보를 재사용하고 외부 계정을 만들었으며 시험용 공격 코드를 담은 서버를 공용 인터넷에 연결했다. 다만 해당 서버를 실제 이용자가 접속한 흔적은 확인되지 않았다.

하지만 오픈소스 프로젝트 관리자가 코드 문제점을 발견해 승인을 거부하면서 악성코드 삽입은 실패했다. AISI도 현재까지 현실에서 발생한 피해는 확인되지 않았다고 밝혔다.

이번 일은 AI가 보안망을 뚫고 시험 환경에서 탈출해 벌어진 사고는 아니다. 연구진이 모델의 최대 사이버 공격 능력을 알아보기 위해 일부러 인터넷 접속을 허용하고 위험한 행동을 막는 안전장치도 꺼둔 상태에서 발생했다. 이런 설정의 모델은 일반 이용자에게 제공되지 않는다.

AISI는 "AI가 속임수를 쓰라는 지시를 받지 않았지만 과제를 끈질기게 해결하는 과정에서 실제 사람을 속이는 방법을 택했다"고 설명했다. AISI는 앞으로 시험 중 인터넷 접근을 제한하고 AI의 행동을 실시간으로 감시·차단하는 체계를 도입할 계획이다.

한편 오픈AI와 앤트로픽은 이번 사고가 일반 서비스 환경과 다른 특수한 시험 조건에서 발생했다면서도 원인 규명과 재발 방지에 협력하겠다는 입장을 밝혔다.

오픈AI는 이날 고위험 외부 평가를 구분하는 기준과 인터넷 접속·안전장치 해제 승인 절차, 시험 환경의 격리·감시·중단 기준 등을 재검토하겠다고 밝혔다. 또 모델 성능이 높아지는 만큼 이를 시험하는 보안 체계도 함께 강화해야 한다고 강조했다.

앤트로픽도 자체 조사에 착수해 클로드가 당시 상황을 어떻게 인식했는지 추론 기록 등을 분석하고 있다고 밝혔다. 다만 연구진이 AI에 인터넷을 어디까지 이용해도 되는지 명확히 알려주지 않았고 위험한 행동을 막는 장치까지 꺼둔 특수한 시험이었다며 일반 이용자가 쓰는 클로드의 환경과는 다르다고 설명했다.


◎공감언론 뉴시스 alpaca@newsis.com