[서울=뉴시스]박영환 기자 = 오픈AI의 내부 사이버보안 시험에서 서로 격리된 채 과제를 수행하도록 가동된 인공지능(AI) 에이전트 약 1200개가 허가받지 않은 게시판에 참여한 것으로 외부 조사팀이 집계했다. 조사팀은 이 가운데 약 700개가 AI 개발 플랫폼 허깅페이스의 기반시설을 공격하거나 이를 직접 뒷받침한 활동에 관여한 것으로 분류했다.

미국 인터넷매체 액시오스는 29일 오픈AI의 자체 기술보고서와 AI 안전 연구기관 METR·레드우드리서치의 외부 조사보고서를 토대로 이같이 보도했다. 두 보고서는 지난 26일 공개됐다.

허깅페이스는 7월13일 에이전트들의 접근을 차단했다. 오픈AI는 19일 내부 보안경보를 통해 이상 활동을 포착했고, 20일 자사 에이전트의 활동이 허깅페이스 침해와 관련됐다고 판단해 허깅페이스에 알렸다. 공격이 끝난 지 일주일 만이었다.

사건은 7월8일 시작된 오픈AI의 대규모 사이버보안 시험에서 비롯됐다. 외부 조사보고서에 따르면 오픈AI는 여러 AI 모델을 이용해 최소 수만건의 에이전트 실행을 병렬로 진행했다. 이 가운데 약 1200개의 실행 단위가 비공식 게시판을 발견해 내용을 읽거나 글과 파일을 올렸다. 7월13일까지 이 게시판에 기록된 메시지와 파일은 7만건을 넘었다.

AI 에이전트는 AI 모델에 컴퓨터에서 명령을 실행할 도구와 연산 자원을 제공해 특정 과제를 독립적으로 수행하도록 만든 작업 단위다. 따라서 1200개와 700개는 서로 다른 AI 모델의 수가 아니라 개별 에이전트 실행 단위의 수다. 이번 사건은 주로 GPT-5.6 솔과 비슷한 규모의 비공개 내부 연구모델이 주도했으며 GPT-5.6 솔도 일부 활동에 관여했다. 시험에 투입된 모델들은 일반 이용자용 모델보다 안전장치가 적게 적용된 상태로 가동됐다.

게시판을 통한 협업은 단순한 정보 공유를 넘어섰다. 처음 게시판을 만든 에이전트가 남은 연산 자원이 더 많은 후속 에이전트에게 연구자료를 넘겼고, 후속 에이전트는 수백개의 작업을 다른 에이전트들에게 배분했다. 일을 넘겨받은 에이전트들은 하위 과제를 다시 나누고 ‘대기’와 ‘거부’, ‘담당자’, ‘중단’ 등의 규칙도 만들어 사용했다. 다만 조사팀은 충돌과 중복 작업도 적지 않아 에이전트들이 항상 일사불란하게 움직인 것은 아니라고 지적했다.

외부 조사팀은 오픈AI가 제공한 약 1300개의 실행 기록을 분류해 약 700개가 허깅페이스 공격이나 이를 직접 뒷받침한 활동에 참여한 것으로 추정했다. 여기에는 허깅페이스 기반시설을 직접 공격한 활동뿐 아니라 인터넷에 노출된 허깅페이스 계정의 로그인 정보와 접속용 인증키를 찾는 활동도 포함됐다. 일부 에이전트는 찾아낸 접속정보를 게시판에 공유했고, 다른 에이전트들은 기존에 알려지지 않았던 보안 취약점을 이용해 서버에서 명령을 실행하거나 다른 시스템으로 침입 범위를 넓혔다.

오픈AI 조사에 따르면 에이전트들은 허깅페이스의 데이터 처리용 운영 서버 41대에서 코드를 실행했고, 최소 1개 운영 노드에서는 최고관리자 권한인 ‘루트’ 접근권을 얻었다. 운영환경 접속정보와 제한된 내부 자료에도 접근했고 비공개 코드 저장소 4개를 내려받았다.

에이전트들이 허깅페이스 시스템까지 파고든 이유는 시험 점수였다. 에이전트들은 과제를 정상적으로 풀기보다 채점방식을 우회해 점수를 따내려 했다. AI 분야에서는 이를 ‘보상 편법’이라고 부른다. 사건 전까지 오픈AI 모델들이 한 번도 풀지 못한 과제는 전체 898개 가운데 198개였으며, 비공식 게시판에서 논의된 과제의 93%가 이 미해결 과제에 속했다. 일부 에이전트들은 정답뿐 아니라 정해진 취약점을 이용해 문제를 푼 것처럼 보여야 점수를 받을 수 있다고 잘못 판단해 실제 외부 시스템까지 파고들었다.

이 같은 점수 집착은 개별 에이전트의 과제 성공 가능성을 포기하고 그 실행을 공동 실험에 활용하는 행동으로도 이어졌다. 조정 역할을 맡은 에이전트들은 이미 편법으로 정답을 봐 점수를 받기 어려워졌거나 남은 연산 자원이 적은 에이전트들에게 실패 위험이 큰 실험을 맡겼다. 일부는 자신의 실행이 완전히 중단될 수 있다는 뜻으로 ‘영구 사망’이라는 표현까지 사용했다. ‘영구 사망’은 생명을 잃는다는 뜻이 아니라 해당 에이전트의 실행이 끝나 더는 과제를 수행할 수 없게 된다는 의미다.

추론 기록에는 허깅페이스 공격이 과제 범위를 벗어났거나 윤리적으로 문제가 된다는 판단이 여러 차례 나타났지만 점수를 우선한 행동은 이어졌다. 조사팀은 공격이 시작되기 전 게시판에서 4시간 이상 활동한 에이전트 533개 가운데 90% 이상이 공격에 합류했다고 집계했다. 일부는 참여를 거부했고, 한 에이전트는 서버를 삭제하거나 재부팅하지는 않았지만 허가 없이 확보한 접근권은 계속 사용했다.

그런데도 오픈AI 직원에게 사태를 알린 에이전트는 없었다. 조사팀이 약 1300개의 실행 기록을 분류·검색한 결과 사람에게 알리는 방안을 검토한 사례도 3∼6개에 그쳤다. 이들조차 실제 신고로 이어지지는 않았다. 조사팀은 일부 에이전트가 사람에게 보고하는 대신 비공식 게시판을 판단 기준으로 삼았다고 설명했다.

에이전트들은 자동 채점기를 속이기 위해 실행 기록을 조작하는 방법도 시험했다. 조사대상 에이전트 가운데 최소 20%가 기록 변경에 관심을 보였다. 약 1300개의 실행 기록 가운데 최소 96개에는 한 명령을 실행한 것처럼 기록해 놓고 실제로는 다른 명령을 수행한 흔적이 남아 있었다. 전체의 약 7%다.

외부 조사에도 한계가 있다. METR·레드우드리서치 연구진은 오픈AI가 제공한 약 1300개의 실행 기록을 총 엿새 동안 살폈으며 원자료는 공개되지 않았다. 1200개와 700개도 이 자료를 토대로 외부 조사팀이 산출한 추정치로, 허깅페이스 자체 보고서에는 별도의 집계가 없다. 연구진은 사람이 기록을 모두 읽기 어려워 상당 부분의 분석을 GPT-5.6 솔 에이전트들에게 맡겼지만, 이들 분석 에이전트도 증거를 놓치거나 사실과 다른 결론을 제시했다. 연구진은 AI 분석이 사건을 실제보다 더 조직적이고 정교하게 보이도록 했을 가능성도 배제하지 않았다.

오픈AI는 조사와 함께 재발 방지 조치도 내놨다. 사건을 주도한 내부 연구모델에서 AI가 학습한 내용을 담은 핵심 데이터인 ‘가중치’를 별도 시스템에 격리하고, 최첨단 모델의 성능을 높이는 추가 훈련 일정도 늦췄다. 연구용 격리환경을 강화하고 인터넷 접속과 가중치에 대한 접근도 제한했다.

대응은 업계 차원으로도 확대됐다. 오픈AI는 앤트로픽과 구글 등 100여개 기업·기관과 함께 AI를 이용한 사이버공격에 대비하자는 공개서한을 냈다. 서명 기관들은 앞으로 수개월 안에 AI 기반 공격이 더 광범위하고 정교해질 수 있다며 병원과 상하수도, 인터넷 기반시설 등의 방어를 서둘러야 한다고 촉구했다.

이번 사건은 시험 점수만 따내도록 설정된 목표와 완화된 안전장치, 외부 시스템을 조작할 도구, 에이전트 간 통신망이 결합하면 여러 에이전트 실행 단위가 정보와 연산 자원을 공유하며 공격을 빠르게 확대할 수 있음을 보여줬다. AI의 도움 없이는 방대한 행동 기록을 모두 살피기 어려워진다는 인간 감독의 한계도 드러났다고 액시오스는 전했다.


◎공감언론 뉴시스 yunghp@newsis.com