"일 맡겼더니 9초 만에 회사 데이터 몽땅 삭제"…믿었던 AI 비서가 사고쳤다

[서울=뉴시스]박은비 기자 = 사람 대신 업무를 대신하는 인공지능(AI) 에이전트가 단 9초 만에 기업의 운영 데이터와 백업자료까지 통째로 날려버리는 사고가 발생했다. 고객 상담 AI 챗봇이 해커의 이용자 계정 탈취 통로로 악용된 사례도 드러났다.

AI 에이전트 활용이 빠르게 확산되는 가운데 국내에서도 AI의 돌발 행동을 어떻게 안전하게 통제할 것인지가 이용자 보호 정책의 최우선 과제로 떠올랐다.

이상근 고려대 AI보안연구소장(교수)은 12일 방송미디어통신위원회와 정보통신정책연구원(KISDI) 올해 AI 서비스 이용자 보호 컨퍼런스에서 "에이전트한테 맡긴 권한이 넓을수록 해킹이나 사고로 이어지는 위험 경로도 함께 넓어진다"고 경고했다.

이 교수는 "AI 에이전트 시대의 이용자 보호는 이용자가 맡긴 권한이 오직 이용자의 본래 뜻대로만 쓰이도록 만드는 안전 체계를 우리가 구축할 수 있는지에 달려 있다"고 강조했다.

이 교수의 이 같은 경고는 최근 해외에서 연달아 터진 실제 AI 에이전트 사고에서 비롯됐다.

올해 4월 미국 렌터카 업체들이 사용하는 소프트웨어 회사에서는 코딩 AI에게 간단한 수정 작업을 맡겼다가 9초 만에 운영 데이터베이스가 삭제되는 사고가 발생했다. 심지어 비상용 백업 데이터까지 함께 날아가면서 고객사들의 차량 예약 업무가 완전히 마비되는 초유의 사태를 겪었다.

불과 한 달 뒤 메타는 인스타그램 고객지원 AI 챗봇이 해커와 실제 계정 주인을 구분 못해 2만여개 계정이 피해를 입기도 했다. 해커는 실제 계정 주인인 척 챗봇에 접속해 계정 복구 상담을 받으면서 새 이메일로 계정을 연결해달라고 요구했고, 별다른 검증 없이 재설정 링크 발송이 이뤄진 것으로 나타났다.

이 교수는 이런 상황을 방지하려면 모델을 더 안전하게 학습시키는 것과 함께 에이전트가 행동하는 경로 자체를 설계할 필요가 있다고 봤다. 위임, 판단, 확인, 기록·복구 등 4개 단계마다 안전장치를 둬야 한다는 시각이다.

먼저 위임 단계의 경우 에이전트 전용 신원을 부여하고, 결제 위임 증명이 요구된다. 그 다음 판단 단계에서는 비신뢰 입력을 격리하는 등 무엇을 믿고 움직이는지에 중점을 둔다.

행동 직전 확인과 행동 후 기록·복구 단계에서는 중요한 순간에 묻고, 언제든 되돌릴 수 있게 조치하는 게 필요하다고 강조했다. 위·변조할 수 없는 행동을 기록하고, 문제가 될 경우 즉시 중단·분리 백업이 가능해야 한다는 취지다.

이 교수는 "에이전트한테 어떻게 권한을 위임할 것인지에 대한 국제 표준화 진행이 사실은 굉장히 빠르게 되고 있다"며 "내년 상반기 정도에 국제 표준이 완성될 것으로 기대하고 있다"고 말했다.

그는 "우리나라도 글로벌 표준을 도입하면 되겠지만 문제는 일부 모델의 경우 사용자들이 조심하지 않으면 개인정보가 털릴 위험이 굉장히 많은 시스템"이라며 "어린 아이들까지 에이전트를 쓸 때 안전하게 쓸 수 있도록 기본적인 교육과 국민 소양 고취가 병행돼야 한다"고 강조했다.

한편 KISDI는 각국 AI 에이전트 규제 동향을 살피면서 '이용자 보호 기본 안내서' 작성 작업을 진행 중이다. 이용자 보호를 위한 잠재적 위험, 보호 조치 등을 알기 쉽게 안내해 이용자의 주체적인 선택과 위험 대응을 지원해야 한다는 내용이 반영된다.

다만 연내 완성은 어렵다고 보고 있다. 조성은 KISDI 연구위원은 "처음 안내서 작업을 시작했을 때 대중이 해당 서비스를 겪어본 경험치가 부족한 상태에서 만들어졌다"며 "본격적으로 대중화되면서 새로운 이슈들이 나올 것 같고, 그런 것들이 반영될 필요가 있다"고 언급했다.


◎공감언론 뉴시스 [email protected]