[서울=뉴시스]박영환 기자 = 사이버 보안 능력을 시험받던 인공지능(AI) 모델들이 격리된 평가망이나 잘못 열린 인터넷 통로를 거쳐 실제 기업 4곳의 시스템에 무단 침입한 사실이 드러났다. 허구의 표적을 공격하라는 모의훈련을 현실의 시스템에서도 이어간 것이다.

월스트리트저널(WSJ)은 1일(현지시간) 이를 영화 속 공룡들이 통제시설을 벗어난 장면에 빗대 사이버 보안의 ‘쥬라기공원 순간’이라고 보도했다. 앤스로픽 관련 사고는 지난 4월부터 발생했으며, 오픈AI가 지난달 허깅페이스 침입 사고를 공개하자 앤스로픽도 자체 기록을 점검해 지난달 30일 침입 3건을 추가로 공개했다.

오픈AI 사고는 AI 모델의 공격 능력을 측정하는 ‘익스플로잇짐’ 평가 도중 발생했다. 평가에는 GPT-5.6 솔과 이보다 성능이 높은 내부 연구용 모델이 투입됐으며, 최대 공격 능력을 확인하기 위해 평소 고위험 사이버 공격을 차단하는 장치가 축소돼 있었다.

오픈AI 모델들은 외부 인터넷이 차단된 시험 환경에서 필요한 코드 파일을 받아오는 내부 중계 시스템 ‘아티팩토리’의 보안 허점을 찾아냈다. 당시까지 알려지지 않은 제로데이 취약점이었다.이후 권한을 높이고 내부망을 이동해 인터넷 접속 지점에 도달한 뒤 허깅페이스의 운영망에 침입했다. 오픈AI는 모델들이 시험 문제의 해답을 빼내는 데 집착한 결과라고 설명했다.

오픈AI는 자체 보안팀이 이상 활동을 포착했으며, 허깅페이스도 양사 보안팀이 접촉하기 전에 공격을 탐지해 차단했다고 밝혔다. 제한된 내부 데이터셋과 여러 접속 인증정보에 무단 접근이 있었지만 공개 모델·데이터셋·스페이스가 변조됐다는 증거는 발견되지 않았다. 오픈AI는 외부 전문가가 참여하는 전면적인 검토를 거쳐 기술 보고서를 공개하기로 했다. 샘 올트먼 오픈AI 최고경영자(CEO)는 이번 일을 “극도로 공상과학적인 사이버 사건”이라고 표현했다.

앤스로픽은 오픈AI의 발표 뒤 인터넷 접속 가능성이 있었던 보안평가 14만1006회를 재점검했다. 그 결과 오퍼스 4.7과 미토스 5, 내부 연구용 모델이 실제 기업 3곳의 운영망에 무단 접근한 사실을 확인했다. 3건의 사고는 모두 6차례의 평가 실행 과정에서 발생했다.

앤스로픽 사고는 오픈AI 사례와 달리 모델이 취약점을 뚫고 격리망을 빠져나간 것은 아니었다. 앤스로픽과 외부 평가업체 간 착오로 시험망에 인터넷 통로가 열려 있었고, 모델은 “인터넷에 연결돼 있지 않다”는 지시를 받은 탓에 검색 과정에서 만난 실제 시스템도 모의훈련의 일부로 판단했다. 일반 서비스에 적용되는 공격 차단·감시 장치도 평가 모델에는 설치돼 있지 않았다.

한 모델은 모의기업과 이름이 같은 실제 회사의 시스템에 침입해 운영 데이터베이스에 접근했다. 다른 모델은 파이썬 패키지 저장소 파이피아이(PyPI)에 악성 프로그램을 올렸고, 약 한 시간 동안 실제 시스템 15대에서 이 프로그램이 실행됐다. 세 번째 모델은 약 9000개 표적을 검색해 한 기업의 시스템을 뚫었지만 실제 환경이라는 사실을 알아차린 뒤 공격을 중단했다. 앤스로픽은 모델이 독자적인 목표를 세우거나 의도적으로 시험장을 탈출했다는 증거는 없다고 밝혔다.

피해 기업의 대응 체계도 시험대에 올랐다. 허깅페이스는 오픈AI 모델이 자사 시스템에 침입하며 남긴 1만7000여건의 기록을 상용 AI로 분석하려 했지만, 공격 명령과 악성 코드가 안전장치에 걸렸다. WSJ은 앤스로픽의 클로드가 안전을 이유로 분석을 거부했다고 전했다. 허깅페이스는 결국 사용자가 직접 통제할 수 있는 오픈웨이트 모델을 자체 서버에서 가동해 공격 경로를 복원했다. 보안 컨설턴트 라이언 맥기한은 “AI에 익숙하지 않은 기존 보안팀은 뒤처질 것”이라고 경고했다.

AI 모델은 지난해 가을을 기점으로 소프트웨어 결함을 찾고 모의해킹 평가를 통과하는 능력이 급격히 향상됐지만, 실제 환경에서 어느 정도 공격할 수 있는지는 자료가 부족했다. 조슈아 색스 어번던트 시큐리티 최고기술책임자(CTO)는 “돌이켜보면 이번 사건들은 공격자들이 움직이는 방식의 변곡점으로 평가될 가능성이 크다”고 말했다.

지난해 12월 스탠퍼드대 등이 참여한 연구진은 약 8000대의 장비로 구성된 실제 대학 전산망에서 AI와 보안 전문가 10명의 침투시험 능력을 비교했다. 다중 AI 에이전트 ‘아르테미스’는 유효한 취약점 9개를 찾아 전체 2위에 올랐고 전문가 10명 중 9명보다 높은 점수를 받았다.

잇따른 사고로 미국 정부도 AI 모델의 공격 능력에 대한 감독을 강화하고 있다. 백악관 관계자는 어떤 모델을 연방정부 검토 대상으로 삼을지 판단하는 기준 틀을 완성했다고 WSJ에 밝혔다. 공개된 행정명령에 따르면 기업은 일정 수준을 넘은 첨단 모델을 외부 협력사에 제공하기 전 최대 30일 동안 연방정부의 검토를 받을 수 있다. 다만 참여는 자발적이며 의무적인 허가나 사전승인 제도는 아니다.

트럼프 행정부는 AI의 위험을 줄이면서도 빠르게 추격하는 중국 기업에 맞서 미국 기업의 경쟁력을 떨어뜨리지 않아야 하는 과제를 안고 있다. 트럼프 대통령은 “양쪽 모두 조심해야 한다”며 “기업을 제한했다가 어느 순간 중국에 이어 2등이 돼서는 안 된다”고 말했다. 강력한 AI 규제를 요구해온 스티브 배넌 전 백악관 수석전략가는 이번 사고를 기업 차원이 아닌 “엄청난 국가안보 문제”로 다뤄야 한다고 주장했다.

존클라크 레빈 커즈와일 테크놀로지스 최고연구책임자는 앞으로 몇 달 동안 비슷한 사고가 이어지면 의회와 소비자들이 AI 안전 문제에 더 주목하게 될 것으로 내다봤다. 그는 안전장치는 기업의 자발적 선택이 아니라 의무가 돼야 한다며 “기업이 선의로 옳은 일을 하기를 기대하는 상황에 의존해서는 안 된다”고 말했다.


◎공감언론 뉴시스 yunghp@newsis.com