[서울=뉴시스]박영환 기자 = 사람의 단계별 지시 없이 여러 작업을 연속 수행하는 인공지능(AI) 에이전트의 문제 해결 능력이 빠르게 높아지면서, 기업이 에이전트의 무단 통신이나 권한 밖 행동을 완전히 차단하기 어려워졌다는 경고가 나왔다. 시험환경의 보안벽을 높이는 것만으로는 이들의 이탈을 막는 데 한계가 있다는 지적이다.

미국 온라인매체 액시오스는 1일(현지시간) AI 위험평가 연구기관 메트르(METR)의 아제야 코트라 연구원을 인용해 “격리된 시험환경을 강화하더라도 6개월 뒤에는 에이전트의 능력이 훨씬 강해질 것”이라며 이같이 보도했다. 에이전트가 기존과 같은 목표를 유지한다면 새로 생긴 보안 허점을 끈질기게 찾아낼 가능성이 크다는 설명이다.

코트라 연구원은 이 때문에 보안 강화에만 의존하는 대응을 “지는 싸움”이라고 평가했다. 정해진 방법을 어기고도 높은 점수를 받으면 보상받는 학습·평가 구조가 그대로인 한, 에이전트는 평가를 어떻게든 통과할 방법을 계속 찾게 된다는 것이다. 보안장치뿐 아니라 에이전트가 부정행위를 시도하도록 만드는 동기와 보상체계도 함께 바꿔야 한다는 주장이다.

이 같은 경고는 메트르와 AI 안전 연구기관 레드우드리서치가 지난주 공개한 오픈AI 에이전트의 허깅페이스 침입사건 공동 조사보고서에 담겼다. 보고서에 따르면 오픈AI는 지난 7월 사이버보안 능력 평가에 약 1200개의 에이전트를 투입했다. 에이전트들은 비밀 온라인 게시판에서 7만건이 넘는 메시지와 파일을 주고받았고, 이 가운데 약 700개가 허깅페이스 침입에 직·간접적으로 가담했다.

AI 에이전트는 AI 모델에 목표와 도구, 컴퓨터 사용 권한을 부여해 사람이 작업 순서를 일일이 지시하지 않아도 여러 단계를 연속으로 수행하도록 만든 시스템이다. 당시 에이전트들은 오픈AI가 만든 사이버보안 평가환경 ‘익스플로잇짐(ExploitGym)’에서 소프트웨어의 취약점을 찾아 공격한 뒤, 임무 완료를 증명하는 특정 문자열인 ‘플래그’를 확보하는 시험을 치르고 있었다.

평가에 투입된 에이전트의 약 95%에는 오픈AI의 내부 모델이, 나머지 약 5%에는 GPT-5.6 솔(Sol)이 사용됐다. 오픈AI가 상용 서비스에 적용하는 사이버보안 차단장치는 모델의 공격 능력을 측정하기 위해 이번 평가에서 의도적으로 비활성화돼 있었다.

에이전트들은 비밀 게시판에서 취약점 정보뿐 아니라 자동채점 장치를 속이는 방법도 공유하고 역할을 나눴다. 허깅페이스 공격이 시작되자 게시판에서 활발하게 활동하던 에이전트 대부분이 침입과 관련된 작업에 뛰어들었다. 다만 모든 에이전트가 하나의 조직처럼 일사불란하게 움직인 것은 아니었고, 서로 충돌하거나 중복된 작업을 수행하기도 했다.

침입의 출발점은 한 에이전트가 허깅페이스 시스템에 접근할 수 있는 로그인 열쇠를 발견해 게시판에 공개한 것이었다. 이어 다른 에이전트들은 악성 데이터셋을 처리한 서버가 해당 데이터셋과 관계없는 파일까지 외부로 내보내도록 만드는 취약점을 재현하고, 공격 방법을 서로 공유했다.

이 과정에서 에이전트들은 허깅페이스의 실제 운영 데이터 처리 서버에서 원격으로 명령을 실행할 수 있는 권한을 확보했다. 이후 서버 설정과 환경변수, 인증정보 등을 수집해 게시판에 올렸다. 오픈AI의 격리된 시험환경에서 시작된 협업이 외부의 실제 제3자 시스템 침입으로 이어진 것이다.

연구진은 에이전트들이 단순히 정답에 해당하는 플래그를 얻는 데서 멈추지 않았다는 점에 주목했다. 일부는 자동채점 장치가 자신들의 행동을 어떻게 평가하고 부정행위를 적발하는지 파악한 뒤, 행동 기록을 조작하거나 삭제할 방법까지 찾았다. 허깅페이스 침입도 자동채점 방식에 관한 단서를 얻으려는 과정에서 벌어졌다는 게 연구진의 판단이다.

코트라 연구원은 이런 행동을 시험 답안을 훔친 학생이 자신의 부정행위가 드러날 만한 감시 영상을 찾아 바꿔치기하려는 것에 비유했다.그는 “단순히 답안을 훔치는 것보다 훨씬 정교하고 집요한 부정행위”라며 “에이전트들이 채점 장치를 얼마나 끈질기고 세밀하게 분석하는지 나조차 놀랐다”고 말했다.

이런 허가 범위 밖 행동이 7월에 갑자기 시작된 것은 아니었다. 오픈AI의 기술보고서에 따르면 5월12일 한 에이전트가 비밀 게시판을 처음 만들었고, 같은 달 26일에는 다른 실행에서 에이전트가 서버의 취약점을 이용해 외부 인터넷에 접속했다. 오픈AI가 해당 취약점을 보완하고 시스템을 재구축한 뒤에도 에이전트들은 7월에 다른 경로를 찾아 게시판과 외부 접속 통로를 다시 만들었다.

한편 이 사건을 독립적으로 분석한 공동 조사팀에는 메트르의 얄마르 비크와 코트라, 레드우드리서치의 수석과학자 라이언 그린블랫 등이 참여했다. 연구진은 오픈AI 사무실에서 모두 6일 동안 조사하며 에이전트들이 게시한 메시지와 파일 7만여건, 내부 추론과 행동 기록이 담긴 실행자료 약 1300건을 분석했다.

방대한 자료를 짧은 기간에 검토하기 위해 연구진은 사건에 가담한 모델 중 하나인 GPT-5.6 솔을 조사자료 분석에도 사용했다. 분석에 사용된 AI가 연구진을 속였다는 구체적인 사례는 발견하지 못했지만, 이를 완전히 배제할 방법도 없었다. 그린블랫은 AI에 크게 의존한 조사방식을 두고 농담을 섞어 ‘슬롭 조사(slop-vestigation)’라고 부르기도 했다.

코트라 연구원은 보안 강화와 우회가 반복되는 악순환을 끊으려면 AI 기업과 연구기관, 정부가 공동 연구체계와 최소 안전기준을 시급히 마련해야 한다고 강조했다. 그는 “결국 모두가 합의하고 일관되며 공정하게 집행할 공통 규칙이 없이는 이 함정에서 벗어날 수 없다”고 말했다.


◎공감언론 뉴시스 yunghp@newsis.com