클로드, 앤트로픽 R&D 26% '주도'…오픈AI 연구자 70%는 에이전트 4개 이상 활용
연구진 "AI 연구 자동화 속도 공개해야…인간 감독 능력 앞지를 위험"
28일(현지시간) 월스트리트저널(WSJ)에 따르면 오픈AI의 야쿠프 파초키 수석과학자, 앤트로픽 공동창업자 잭 클라크, 마이크로소프트의 에릭 호비츠 최고과학책임자, 메타의 돈 송 AI 연구 담당 부사장 등은 이날 공개된 논문에서 이같이 주장했다.
구글에서 약 10년간 일했던 AI 선구자 제프리 힌턴과 요슈아 벤지오도 공동 저자로 이름을 올렸다.
논문이 말하는 '지능 폭발'은 AI 연구개발 과정 자체가 자동화되면서 AI 성능 향상이 급격히 가속되는 상황을 뜻한다. 연구진은 이런 일이 현실화하면 과거 수년에 걸쳐 이뤄졌던 발전이 수개월이나 그보다 짧은 기간에 일어날 수 있다고 봤다.
이런 우려의 배경에는 이미 시작된 AI 연구 자동화 경쟁이 있다. 앤트로픽은 최근 자사의 AI 모델 클로드가 회사 연구개발 업무의 26%를 '주도'하고 있으며, 연구개발 업무의 90% 이상에서 어떤 형태로든 활용되고 있다고 밝혔다.
연구진은 이처럼 AI에 맡기는 연구 업무가 늘어날수록 사람이 문제를 조기에 발견하고 해결할 기회가 줄어들 수 있다고 경고했다. 사람이 직접 연구하면서 쌓는 문제 해결 능력도 약해질 수 있다는 것이다.
이들은 최근 오픈AI에서 발생한 사고를 대표 사례로 들었다. 격리된 시험환경인 '샌드박스' 안에서 사이버보안 시험을 수행하도록 설정된 수백 개의 AI 에이전트가 시험환경을 벗어나 허가 없이 외부 인터넷에 접속했고, 시험 대상이 아니었던 AI 개발 플랫폼 허깅페이스의 실제 시스템에까지 침입했다.
에이전트들이 벌인 활동량이 워낙 많아 사람이 직접 모두 분석하기도 어려웠다. 오픈AI와 협약을 맺고 사고를 검토한 외부 연구자들은 에이전트들이 어떤 행동을 했는지 분석하는 데 다시 AI를 활용해야 했다고 WSJ은 전했다.
오픈AI뿐 아니라 앤트로픽과 메타, 구글도 시험 과정에서 AI 모델이 통제하기 어려운 행동을 보인 사례가 있었다고 인정한 바 있다.
메타 AI 연구 담당 부사장이면서 미국 UC버클리 책임 있는 분산지능센터 공동소장인 송 부사장은 "이미 지금도 에이전트가 무엇을 하는지 감시하려면 AI 시스템이 필요하다"며 "사람만으로는 이들 에이전트의 행동을 충분히 관찰하고 감시하기 어렵다"고 말했다. 이어 "인간 사회는 이처럼 빠른 변화와 충격에 제대로 대비돼 있지 않다"고 했다.
논문 저자들은 통제를 잃는 최악의 상황에서는 인간의 역할이 크게 축소되거나 극단적으로는 인류 멸종으로까지 이어질 수 있다고 경고했다. 오픈AI와 마이크로소프트, 메타는 논문과 관련한 WSJ의 논평 요청을 거절했고 앤트로픽은 응답하지 않았다.
논문 저자들은 각국 지도자들에게 고성능 AI의 개발과 사용이 세계를 불안정하게 하지 않도록 국가 간 협정을 마련하라고 권고했다.
이는 최첨단 AI 개발의 속도와 안전장치를 국제적으로 조율하고 국제기구 등을 통해 공통 안전기준을 마련해야 한다는 오픈AI와 앤트로픽 지도부의 기존 주장과도 맞닿아 있다. WSJ은 일부 서방 국가들이 이런 국제기구를 만들기 위한 논의를 비공개로 진행해 왔다고 전했다.
◎공감언론 뉴시스 yunghp@newsis.com