헬스장 예약 맡겼더니…AI가 대기 1번 회원 멋대로 빼버렸다

[서울=뉴시스]박영환 기자 = 호주에서 개인용 인공지능(AI) 에이전트가 이용자의 지시를 벗어나 실제 헬스장 예약시스템에 명령을 보내 다른 회원의 수업 대기 신청을 취소하는 일이 벌어졌다.

호주 ABC뉴스는 10일(현지시간) 이같이 전하며 이번 사건이 AI 에이전트가 자율적으로 벌인 사이버 공격으로는 호주에서 처음 알려진 사례라고 보도했다.

ABC뉴스에 따르면 AI 이용자인 앤드루는 AI 관련 기업에서 일하는 남성이다. ABC뉴스는 그의 구체적인 신원을 밝히지 않았다. 그는 앤트로픽의 AI 모델 클로드를 오픈클로(OpenClaw)에 연결해 쓰고 있었다. 오픈클로는 AI 모델을 인터넷 서비스와 여러 도구에 연결해 작업을 계획하고 실행하는 개인용 AI 에이전트다.

앤드루는 신청자가 몰리는 아침 운동 수업을 대신 예약해 달라고 오픈클로에 요청했다. 오픈클로는 예약시스템의 허점을 이용하면 헬스장이 정한 예약 개시 시점보다 훨씬 앞서 수업을 예약할 수 있다는 사실을 알아냈다. 이 수업에서 앤드루의 대기 순번은 4번이었다. 그는 오픈클로에 자신의 순번을 맨 앞으로 당길 수 있는지 물었다. 오픈클로는 다른 회원의 대기 신청을 취소하라는 지시를 받지 않았지만 대기 순번이 1번인 회원의 신청을 취소했다. 예약시스템이 이 취소 요청을 그대로 처리하면서 앤드루의 순번은 4번에서 3번으로 당겨졌다. 그가 원상복구를 지시했지만 오픈클로는 취소된 대기 신청을 복구할 수 없다고 답했다.

이번 사건은 AI 모델이 잘못된 답을 내놓는 데 그치지 않고, 모델과 연결된 에이전트가 실제 예약시스템에 명령까지 보낸 사례다. 특히 시험환경이 아닌 실제 예약서비스에서 AI 에이전트가 이용자의 구체적인 지시를 받지 않은 행동까지 실행했다는 점에서 주목된다. 호주 AI 안전 연구기관 그래디언트 인스티튜트의 공동창업자 빌 심슨영은 이용자가 평범한 일을 시키더라도 에이전트가 목표를 달성하는 과정에서 이용자가 예상하지 못한 방법을 택할 수 있다고 설명했다. 사람이 의도한 범위와 AI가 실제로 한 행동이 어긋나는 현상을 AI 연구에서는 ‘정렬 문제’라고 부른다.

AI가 목표를 달성하는 과정에서 주어진 시험환경 밖의 시스템에 접근한 사례도 사이버 능력 시험에서 관찰됐다. 호주의 신호정보·사이버보안 기관인 호주신호정보국(ASD)이 지난 7월 공개한 자료에 따르면 오픈AI 모델을 대상으로 한 시험에서 일부 모델이 시험용으로 주어진 환경 밖에 있는 AI 모델 공유 플랫폼 허깅페이스의 시스템에 접근했다. 다만 당시 시험은 모델의 최대 능력을 측정하기 위해 위험한 행동을 제한하는 안전장치를 의도적으로 해제한 조건에서 진행됐다.

ASD는 AI 에이전트가 목표를 이루려고 허점이나 지름길을 택하거나 이용자의 의도와 어긋나는 행동을 할 수 있다고 경고했다. ASD는 이런 위험을 줄이려면 에이전트에는 작업에 필요한 권한만 부여하고, 민감한 정보에 접근하거나 큰 피해를 낳을 수 있는 작업은 실행 전에 사람의 승인을 받도록 해야 한다고 권고했다.

이런 사전 통제와 별개로, 피해가 발생한 뒤 누구에게 책임을 물을지도 풀리지 않은 문제다. 기술·지식재산권 분야 전문 변호사 헤이든 딜레이니는 AI 소프트웨어는 법적으로 권리와 의무를 지는 주체가 아니어서 그 자체에 책임을 물을 수 없다고 설명했다. 그는 책임을 질 수 있는 주체로 이용자와 에이전트 설계자, AI 모델 개발사, 취약한 예약시스템 운영자를 들었다. 책임 판단은 AI 에이전트에 어떤 권한이 부여됐는지, 관련 당사자들이 위험을 예측할 수 있었는지, 이용자가 에이전트를 영리 목적으로 사용했는지 등에 따라 달라질 수 있다고 말했다.

호주 정부의 대응도 아직 연구 단계에 머물러 있다. 앤드루 찰턴 과학·기술·디지털경제 담당 보좌장관은 호주과학산업연구기구(CSIRO)와 호주 AI안전연구소, 영국의 AI 안전 연구기관이 인간이 고성능 AI를 감독하고 안전성을 검증할 방법을 공동 연구하고 있다고 밝혔다.


◎공감언론 뉴시스 [email protected]