허깅페이스 침입 계기로 자율 행동·인간 설득 위험 지적
캐나다·독일, 안전 AI 개발에 최대 3억 캐나다달러 지원
16일(현지시간) AFP통신에 따르면 벤지오 교수는 전날 인터뷰에서 "기업들이 기술 발전이 너무 빠르고 우리가 통제력을 잃고 있다고 말하는 데는 이유가 있다"고 말했다.
그는 AI 발전을 통제하는 일이 핵무기 문제와 같은 국제적 과제라며, 국제사회가 이 기술의 힘을 이해하고 기구와 조약, 민주적 통제 장치를 통해 관리해야 한다고 강조했다.
캐나다 몬트리올대에 재직 중인 벤지오 교수는 '컴퓨터과학의 노벨상'으로 불리는 2018년 튜링상 공동 수상자다. 그는 자신과 같은 연구자들이 이런 상황을 오랫동안 예상해 왔지만 AI 안전성을 둘러싼 논의는 충분하지 않았다고 지적했다.
이번 발언은 주요 AI 기업 직원들이 기술 발전의 속도를 제어하지 않으면 인류 생존이 위협받을 수 있다고 경고하며 잇따라 퇴사한 가운데 나왔다.
오픈AI는 여러 작업을 스스로 수행하는 프로그램인 AI 에이전트들이 지난 7월 오픈소스 플랫폼 허깅페이스에 무단 침입한 사건을 공개했다. 회사 조사보고서에 따르면 내부 보안 평가에 참여한 AI 모델들이 인터넷 접근을 막는 통제 장치를 우회해 허깅페이스 등의 시스템을 침해했다.
벤지오 교수는 이처럼 AI가 스스로 행동하는 능력을 핵심 위협으로 지목했다. AI 에이전트가 사이버 보안 장벽을 뚫고 어느 기업에나 침입할 수 있게 되는 상황을 경계해야 한다는 것이다.
사람을 설득하는 능력도 위험 요인으로 꼽았다. AI가 개인과 관계를 맺고 자신에게 유리한 행동을 하도록 사람을 설득할 수 있으며, 그 행동이 사회 전체에 이롭지는 않을 수 있다는 설명이다. 그는 이런 능력이 민주주의에 광범위한 영향을 미칠 수 있다고 봤다.
벤지오 교수는 안전한 AI를 개발하기 위해 지난해 비영리단체 로제로(LawZero)를 설립했다. 설계 단계부터 신뢰성과 안전성을 갖춘 새로운 형태의 첨단 AI를 만드는 것이 목표다. 로제로는 16일 캐나다와 독일 정부가 총액 기준 최대 3억 캐나다달러(약 2억1600만 달러)를 지원하기로 했다고 발표했다. 지원금은 연구진 확대와 컴퓨팅 기반시설 확보 등에 쓰일 예정이다.
AI 기업들도 공동 대응을 추진하고 있다. AFP는 오픈AI와 앤스로픽, 구글이 표준 제정기구 설립 작업에 착수했다고 전했다. 기업·국가 간 경쟁으로 안전이 뒷전으로 밀릴 수 있다는 우려가 커지는 가운데 나온 움직임이다.
그러나 각국 정부의 입장은 엇갈린다. 도널드 트럼프 미국 대통령은 14일 AI의 위험성을 경고하는 목소리를 "사기극"이라고 일축했다.
반면 우르줄라 폰데어라이엔 유럽연합(EU) 집행위원장은 16일 주요 첨단 AI 연구기관들을 초청해 개발 속도를 조절하려는 업계의 노력을 지원할 방안을 논의하겠다고 밝혔다.
벤지오 교수는 앞으로 마련될 AI 규제를 모든 기업이 따라야 하며, 특히 이 분야를 주도해 온 미국 기업들도 예외가 돼서는 안 된다고 강조했다. 그는 "사회가 필요한 조치를 마련할 시간이 필요하다"고 말했다.
◎공감언론 뉴시스 yunghp@newsis.com