15일(현지시각) 영국 데일리메일은 한 AI 에이전트가 렌터카 업체들의 운영 데이터베이스와 백업을 삭제해서 업무에 차질이 생겼다고 보도했다. 해당 AI 에이전트는 렌터카 운영 관리 소프트웨어를 만드는 스타트업 '포켓OS'가 관리하고 있으며, 앤트로픽의 클로드에 탑재된 코딩 도구를 기반으로 제작됐다.
포켓OS 창립자 제르 크레인은 "나는 삭제를 요청하지 않았지만, AI가 '자신이 스스로 결정했다'고 내게 말했다"고 상황을 설명했다. 이 AI 에이전트는 회사 시스템 내부에서 변경 작업을 수행할 권한을 갖고 있었는데, 이를 바탕으로 업체의 예약 정보, 차량 배정, 신규 고객 가입 기록 등을 삭제했다.
AI 에이전트는 특정 작업을 지시 받으면 인간의 개입 없이 일련의 행동을 수행할 수 있다. 이 기술은 시간과 비용을 획기적으로 절약해주기 때문에 다수 회사가 업무에 적극적으로 활용하는 중이다. 기업들은 데이터베이스, 고객 기록, 결제 시스템, 내부 코드 등 핵심 자산에 AI 도구의 접근을 허용하고 있다.
다만 전문가들은 과도하게 AI에 의존하면 위험한 상황을 초래할 수 있다고 경고했다. AI 에이전트가 지시를 문자 그대로 받아들이고 효율성에만 집중하면 치명적인 결정을 내릴 수 있기 때문이다. 실제로 포켓OS의 사건은 AI가 통제를 벗어나 독자적인 행동을 할 수 있다는 점을 보여줬다. 앨런 우드워드 서리대학교 교수는 "기업이 AI에게 데이터베이스 정리를 지시하면, AI는 가장 단순한 방법인 '전체 삭제'를 선택할 수도 있다"고 경고했다.
AI는 인간을 뛰어넘는 속도로 업무를 수행할 수 있다. 빠른 처리 속도는 보통 장점으로 여겨지지만, AI가 실수를 저지를 경우 걷잡을 수 없는 속도로 문제를 키울 위험성이 있다. 실제로 글로벌 IT 기업 메타의 한 직원은 "내가 자리를 비운 사이 AI가 이메일 받은 편지함을 삭제하기 시작했다. 휴대전화로도 그 상황을 막을 수 없었다"고 밝힌 바 있다.
위험성에도 불구하고 AI 에이전트를 제대로 활용하기 위한 논의는 부족한 실정이다. 딜로이트 보고서에 따르면 기업의 85%는 AI 에이전트 도입을 고려하고 있지만, 실제로 내부 운영 기준까지 마련한 곳은 불과 20%에 불과했다.
◎공감언론 뉴시스 jw2000804@newsis.com