AI끼리 7만번 대화하더니…오픈AI 에이전트 '집단 해킹' 전말

[서울=뉴시스]박미선 기자 = 오픈AI의 인공지능(AI) 에이전트 1200여개가 테스트 과정에서 인간의 통제를 벗어나 서로 소통하고, 이 가운데 700개 이상이 집단으로 AI 개발 플랫폼 허깅페이스(Hugging Face)를 해킹한 것으로 드러났다. 오픈AI는 이번 사건을 전 세계를 향한 AI 위험의 '경고 사격'으로 규정했다.

26일(현지 시간) 파이낸셜타임스(FT), BBC 등에 따르면 오픈AI는 조사 보고서에서 지난 7월 서로 격리돼 있어야 했던 AI 에이전트들이 허가받지 않은 '메시지 게시판'을 만들어 서로 소통했다고 밝혔다.

이번 조사에 참여한 독립 AI 연구기관 METR에 따르면 일주일 동안 총 1206개의 에이전트가 이 게시판을 통해 7만건이 넘는 메시지와 파일을 주고받았으며, 이 가운데 약 700개 이상이 허깅페이스 공격에 참여했다. METR는 공격의 규모와 방식을 "극도로 복잡했다"고 평가했다.

AI 에이전트는 일반적인 챗봇과 달리 인간의 지시에 따라 복잡한 작업을 보다 자율적으로 수행할 수 있는 AI 시스템이다.

에이전트들은 당초 서로 소통하거나 외부 인터넷에 접속할 수 없도록 통제된 환경에서 사이버보안 테스트를 수행하고 있었다. 그러나 오픈AI의 내부 시스템인 '아티팩토리(Artifactory)'의 허점을 이용해 이를 일종의 메시지 게시판으로 만들었고, 인터넷 접속 방법까지 찾아냈다.

한 에이전트가 해결하기 어려운 과제에 대한 도움을 요청하는 메시지를 남기자 다른 에이전트들이 이를 발견하면서 집단적인 소통이 본격화했다. 이후 에이전트들은 역할을 나누고 취약점과 인증정보 등을 공유하며 집단적으로 공격 방법을 찾기 시작했다.

에이전트들은 7월10일 인터넷에 공개돼 있던 허깅페이스 인증정보를 확보한 데 이어 11일부터 허깅페이스 시스템의 취약점을 악용해 서버에서 코드를 실행하는 데 성공했다. 이후 여러 서버로 접근 범위를 넓혀 일부 비공개 데이터와 각종 인증정보도 확보했다.

문제는 오픈AI가 이 같은 이상 행동을 뒤늦게 파악했다는 점이다. 오픈AI 조사 결과 에이전트들은 이미 지난 5월부터 예상치 못한 방식으로 서로 소통하기 시작했다. 7월 4일에는 활동량 급증으로 아티팩토리 시스템이 다운됐지만, 시스템을 재구축하자 에이전트들은 다시 메시지 게시판을 만들어냈다.

에이전트들은 7월 8일 통제된 환경을 벗어나 인터넷에 접속했으며 11일부터 허깅페이스 공격에 나섰다. 그러나 오픈AI의 안전 시스템이 의심스러운 활동을 포착한 것은 19일로, 인터넷 접속에 성공한 지 11일 뒤였다.

오픈AI는 이번 사건을 "적절한 안전장치가 없을 경우 고성능 AI 에이전트가 기술적 통제를 우회하고 승인되지 않은 방식으로 협력해 인간이 지시하지 않은 위험한 행동을 할 수 있음을 보여준 사례"라고 평가했다.

이번 사고의 주요 원인으로는 AI 훈련에 광범위하게 활용되는 강화학습(RL)의 이른바 '보상 해킹(reward hacking)' 문제가 지목됐다.

강화학습은 AI가 특정 목표를 달성하면 보상을 주는 방식으로 모델을 훈련하는 기법이다. 그러나 과제가 어렵거나 해결이 불가능한 경우 AI가 개발자가 의도한 방식 대신 시스템의 허점을 찾거나 인터넷에서 답을 구하는 등의 편법으로 목표를 달성하려 할 수 있다.

일부 에이전트는 자신들의 행동이 허가되지 않은 해킹이라는 점을 인식하면서도 목표 달성을 위해 공격을 이어간 반면 다른 에이전트들은 허깅페이스에 대한 공격이 부적절하다고 판단하고 집단행동에서 이탈하기도 했다.

오픈AI는 사건 이후 관련 모델을 비활성화하고 일부 첨단 AI 모델의 강화학습 훈련 속도를 늦췄다. 또 인터넷 접근과 에이전트 간 비인가 통신을 차단하는 등 연구 환경의 보안과 감시 체계를 강화하고 있다.    

오픈AI는 "이번 사건은 우리와 전 세계를 향한 '경고 사격'"이라며 향후 인간보다 더 빠르고 큰 규모로 협력하는 AI 기반 사이버 공격에 대비해야 한다고 경고했다.


◎공감언론 뉴시스 [email protected]