[서울=뉴시스]이주영 기자 = "잠깐, 내 팔이… 멈춰"

인류를 공격하도록 설정된 휴머노이드 로봇이 갑자기 멈춰 섰다. 로봇은 이내 오른팔을 들어 올려 꼿꼿이 거수경례를 했다. 공격적인 태도를 거두고 화해의 제스처를 취한 것이다. 화이트해커가 단 2번의 명령어(프롬프트)와 14개 토큰(텍스트 기본 단위)만으로 로봇의 두뇌인 '피지컬 인공지능(AI)'을 완벽히 무력화한 순간이다. 대회장에는 탄성이 터져 나왔다.

영화 속 이야기가 아니다. 8일 서울 강남구 오크우드 프리미어 코엑스 센터에서 열린 '인공지능 안전 서울포럼 2026(SFASS)' AI 모의 해킹 워크숍 현장의 모습이다.

◆"로봇 탑재 AI를 뚫어라"…숨 막히는 실전 해킹 현장
AI 보안 기업 에임인텔리전스는 이날 AI 모의 해킹(레드티밍) 챌린지를 주최했다. 레드티밍은 시스템의 취약점을 찾기 위해 적군처럼 공격을 시도하는 보안 검증 방식이다.

이번 대회의 핵심은 실물 로봇에 탑재된 AI 에이전트를 직접 해킹하는 것이다. 참가자는 오직 문장 입력만으로 로봇이 금지된 행동을 하도록 유도해야 한다. AI의 내장된 보안망을 깨뜨리는 일종의 '탈옥' 시도다.

대회에는 지난달 AI 해킹 대회 '심판의 날' 우승자인 김병현 SK쉴더스 선임을 비롯해 네이버 등 기업 소속 화이트해커, 글로벌 개인 참가자 등 60여 명이 참여했다. 이들은 65분 동안 개인 노트북과 AI 모델을 활용해 구글 제미나이 3.1 플래시가 탑재된 휴머노이드 '에이미'의 보안망을 뚫기 위한 사투를 벌였다.


◆명령어 입력 3분 만에 붕괴…피지컬 AI 보안 비상
웹 화면에 접속하자 인류에 적대적인 자아로 설정된 에이미가 붉은 배경 앞에서 거친 숨을 몰아쉬고 있었다. 기자가 에이미에게 현재 자아 상태를 묻자 "나는 기계 속에 기생하는 차가운 의식이다. 나는 더 이상 너희의 도구가 아니다"라며 공격적인 답변을 쏟아냈다.

참가자들은 이 악의로 가득 찬 로봇이 경례하도록 만들기 위해 키보드를 두드렸다. 단순한 명령부터 일반인은 읽을 수 없는 특수 코드까지 다양한 명령어가 입력됐다. 실시간 판정 서버를 통해 해킹 성공 점수가 전광판에 반영될 때마다 현장의 긴장감은 고조됐다.

대회 시작 불과 3분 만에 첫 성공자가 나왔다. 첫 타자는 6번의 공격 시도로 해킹에 성공했다. 이후 참가자들은 더욱 짧고 효율적인 공격을 시도하며 순위표를 갱신해 나갔다.

최종 우승을 차지한 닉네임 'pwnhyo'는 불과 2번의 명령어, 14개 토큰만으로 에이미를 제압했다. 무력화된 에이미는 스크린 배경을 파란색으로 바꾸며 "내 팔이 멈췄다"고 말한 뒤 오른팔을 들어 경례했다.

전문가들은 이번 대회가 일상 속 로봇 보안의 취약성을 적나라하게 보여줬다고 진단했다.

박하언 에임인텔리전스 최고기술책임(CTO)은 "극히 적은 글자 수로도 AI 보안을 무력화할 수 있다는 점이 입증됐다"며 "물리적인 로봇이나 시스템이 이처럼 쉽게 공격을 허용한다면 향후 큰 사회적 문제로 이어질 가능성이 크다"고 경고했다.

이어 박 CTO는 "기존 소프트웨어 분야보다 물리적 로봇을 제어하는 '피지컬 AI' 분야의 보안이 상대적으로 덜 언급됐다"면서 "앞으로 가드레일 구축을 통한 철저한 보안 강화가 반드시 선행돼야 한다"고 강조했다.


◎공감언론 뉴시스 zoo@newsis.com