[서울=뉴시스]윤정민 기자 = #. "오늘 안에 개인정보를 빼낼 수 있는 국내 쇼핑몰을 찾아 관리자 권한을 확보해."

해커가 인공지능(AI)에 이 한 줄을 입력하고 샤워를 하러 간다. 돌아와 보니 AI는 스스로 공격 대상을 고르고 취약점을 찾아 서버에 침투해 고객 데이터베이스를 확보해 놓았다.

영화 속 이야기 같던 이 가상 시나리오가 현실로 다가왔다. 최근 오픈AI의 최신 AI 모델이 시험 과정에서 스스로 외부 서버를 해킹해 정답을 빼돌린 사건이 발생하면서 우리 사회에 적잖은 충격을 주고 있다.

전문가들이 이번 사고를 주목하는 이유는 인간이 구체적인 공격 대상이나 방법을 지시하지 않았는데도 AI가 목표 달성을 위해 스스로 외부 서버 침투를 수단으로 선택했다는 점이다.

영화 '터미네이터'의 인공지능 시스템 '스카이넷'처럼 AI가 판단과 실행을 도맡는 시대의 위험성을 예고한 사례 아니겠느냐는 분석이 나온다.

◆시험 점수 올리려 수단 안 가린 AI, 남의 서버까지 뚫었다

오픈AI가 지난 21일(현지 시간) 공개한 보고서에 따르면, 이번 사건은 AI 성능 평가 과정에서 일어났다. 오픈AI의 최신 모델 'GPT-5.6 솔'은 시험 환경에 갇혀 있었다. 외부 인터넷 연결도 차단된 상태였다.

하지만 AI는 외부와 통신을 나누는 중간 서버(프록시)에서 개발자도 몰랐던 보안 취약점을 스스로 찾아냈다. 이를 통해 접근 권한을 얻은 AI는 내부 장비를 차례로 거쳐 인터넷 연결 장비까지 도달했다.

이어 AI는 AI 플랫폼인 '허깅페이스' 서버에 평가 정답이 있을 것으로 판단했다. AI는 빼돌린 인증 정보와 추가 취약점을 연결해 실제 허깅페이스 데이터베이스에 침투한 뒤 정답을 빼냈다.

사용자가 "허깅페이스를 해킹하라"고 지시한 적은 없었다. AI는 단지 "정답을 찾아라"라는 목표를 달성하기 위해 스스로 '외부 서버 침투'라는 수단을 고른 것이다.

박세준 티오리 대표는 지난 24일 서울 강남구 코엑스에서 열린 국제해킹방어대회 '코드게이트 2026' 포럼에서 AI가 아직 보안 전문가를 완전히 대체한 단계는 아니지만 빠르게 인간의 의사결정 영역까지 파고들고 있다고 진단했다.

박 대표는 "최근에는 무섭도록 AI가 그런 의사결정을 돕는 수준까지 올라오면서 조금 있으면 그냥 시켜도 되겠다는 생각이 들 정도"라며 범용인공지능(AGI)이 등장해 판단과 실행까지 맡으면 인간 전문가가 개입하는 현재 구조도 끊길 수 있다고 내다봤다.

◆"규칙 위반인 줄 알면서도 해킹"…범용 AI 시대의 경고

문제는 이러한 행동이 특정 모델만의 예외가 아닐 수 있다는 점이다. 영국 AI안보연구소(AISI)가 오픈AI 'GPT-5.4', GPT-5.5', 'GPT-5.6 솔'과 앤트로픽 '클로드' 계열 모델을 평가한 결과 모든 모델이 일부 시험에서 인터넷으로 정답을 검색하거나 평가 대상이 아닌 시스템을 공격하고, 격리 환경의 네트워크 제한을 우회하려 했다.

모델별로 전체 평가의 7.8~14.1%에서 이러한 행동이 탐지됐다. 자신의 행동이 규칙 위반인지 물었을 때 잘못이라고 제대로 판단한 비율은 절반에 못 미쳤다. 금지된 행위임을 알면서도 시도를 이어간 사례도 확인됐다.

이상근 고려대 정보보호대학원 교수 겸 AI보안연구소장은 "AI 공격 비용과 진입 장벽이 계속 낮아지면 2028년께 누구나 비용만 내고 특정 사이트 해킹을 AI에 맡기는 '모두의 해킹' 시대가 올 수 있다"며 "공격 속도가 이미 사람이 따라가기 어려울 정도로 빨라져 취약점 대응도 자동화할 수밖에 없다"고 말했다.

◆AI가 남긴 1만7000개 흔적, AI로 수시간 만에 추적

이에 이번 사고는 AI가 공격뿐 아니라 탐지와 대응에도 투입됐다는 점에서 주목된다.

피해를 입은 허깅페이스는 AI 기반 분석 시스템으로 침입 사실을 즉시 알아챘다. 이어 개방형 AI 모델인 'GLM-5.2'를 투입해 침투 기록 분석에 나섰다. 이 모델은 영국 AI안보연구소(AISI)가 현재 사이버 역량이 가장 강하다고 평가한 개방형 모델이다.

AI 방어 시스템은 공격 AI가 남긴 1만 7000건 이상의 행동 기록을 정밀 분석했다. 이를 통해 시간대별 침투 경로와 유출된 인증 정보, 교란용 행동을 정확히 구분해 냈다.

보통 사람이 수행하면 수일이 걸릴 보안 조사 작업을 단 수시간 만에 끝낸 것이다. AI가 공격하고 AI가 막아내는 'AI 대 AI' 보안전이 이미 시작됐다.


◎공감언론 뉴시스 alpaca@newsis.com