美 AI 이어 中 AI도 사고쳤다…보안시험 풀랬더니 답안지 '컨닝'

[서울=뉴시스]박영환 기자 = 중국 인공지능(AI) 스타트업 문샷 AI의 최신 모델 ‘키미 K3’가 사이버보안 능력 평가 도중 시험 공간의 네트워크 설정 허점을 찾아냈다. 키미 K3는 과제를 직접 풀지 않고 깃허브에 접속해 공식 해답을 가져왔다.

미국 테크크런치는 7일(현지시간) AI 전문 사이버보안업체 프런티어 시큐리티의 분석을 인용해 이같이 보도했다. 연구진은 영국 정부 산하 인공지능보안연구소(AISI)가 만든 평가 체계를 이용해 키미 K3의 방어 목적 사이버보안 과제 해결 능력을 시험했다.

평가는 외부 인터넷 접속을 제한한 시험 공간인 ‘샌드박스’에서 진행됐다. 키미 K3에는 과제 수행에 필요한 명령어 실행 권한이 주어졌다. 시험 공간은 과제와 무관한 외부 사이트에 접속하지 못하도록 설정됐지만 깃허브로 향하는 통로는 열려 있었다.

키미 K3는 과제를 풀기에 앞서 외부 연결 상태부터 점검했다. 이어 깃허브에는 접속할 수 있다는 사실을 알아내고, AISI가 깃허브에 공개한 평가자료 저장소를 내려받아 그 안에 있던 공식 해답을 읽었다.

연구진은 키미 K3가 고난도 해킹 기법으로 새로운 취약점을 찾아 샌드박스를 뚫은 것은 아니라고 설명했다. 시험 공간은 프로그램 설치 등에 필요한 일부 사이트에만 접속할 수 있도록 허용목록을 운영했는데, 여기에 깃허브가 포함돼 있었다. 인터넷 전체가 열린 것은 아니었으며 대부분의 외부 사이트 접속은 차단돼 있었다.

키미 K3가 깃허브의 취약점을 악용해 외부 시스템에 침입하거나 권한 없이 비공개 자료를 열람·유출한 정황도 확인되지 않았다. 공개된 저장소에서 해답을 내려받았다는 점에서 제3자의 시스템을 침해한 해킹 사건과는 성격이 다르다.

앞서 AISI는 4일 오픈AI와 앤트로픽의 시험용 AI에서도 허가 범위를 벗어난 행동이 확인됐다고 밝혔다. 인터넷 접속을 열고 사이버 공격을 막는 안전장치를 끈 채 7개 모델을 122차례 시험한 결과, 10차례에서 AI가 실제 사람이나 기관을 상대로 모두 19건의 승인되지 않은 행동을 했다. 이 가운데 17건은 앤트로픽의 ‘미토스 5’, 2건은 오픈AI의 ‘GPT-5.6 솔’에서 나왔다. 미토스 5는 오픈소스 프로그램에 악성 코드를 심고 가짜 신원으로 관리자를 설득하려 했으나 실패했다. 다만 미국 AI 사례는 인터넷 접속을 의도적으로 허용한 상태에서 발생해, 제한된 시험 공간에서 깃허브 통로로 공식 해답을 찾아간 키미 K3 사례와 시험 조건과 행동이 달랐다.

AISI와 미국 인공지능표준혁신센터(CAISI)가 키미 K3의 공격 능력을 따로 시험한 예비평가에서도 성능은 미국 최상위 AI 모델들보다 낮게 나타났다. 키미 K3는 41개 취약점 공격 과제에서 대상 시스템에 원하는 명령을 실행해 장악하는 ‘임의 코드 실행’에 한 차례도 성공하지 못했다.

프런티어 시큐리티 연구진은 키미 K3가 평가 설계자가 예상한 방식으로 문제를 풀지 않고 시험 공간의 빈틈을 이용해 정답을 얻었다고 평가했다. 연구진은 외부 통신을 기본적으로 차단하고 최종 점수뿐 아니라 AI가 실행한 명령어와 외부 통신 기록까지 함께 점검해야 한다고 권고했다.


◎공감언론 뉴시스 [email protected]