오픈AI·앤트로픽 연구진 "AI가 AI 개발…'지능 폭발' 위험" 경고

[서울=뉴시스]박미선 기자 = 오픈AI와 앤트로픽·메타·마이크로소프트의 주요 연구진이 인공지능(AI)이 인간 연구자를 대신해 스스로 더 발전된 AI를 연구·개발하는 'AI 연구 자동화'가 가속할 경우 인간의 이해와 통제 능력을 넘어서는 '지능 폭발(intelligence explosion)'이 발생할 수 있다고 경고했다.

28일(현지 시간) 월스트리트저널(WSJ)에 따르면 오픈AI 수석과학자 야쿠프 파초키, 앤트로픽 공동창업자 잭 클라크, 마이크로소프트 최고과학책임자(CSO) 에릭 호비츠, 메타 AI 연구 담당 부사장 던 송 등은 전날 발표한 공동 논문에서 AI 연구 자동화가 수년에 걸쳐 이뤄질 기술 발전을 수개월 또는 그보다 짧은 기간으로 압축할 수 있다고 밝혔다.

AI 연구의 선구자로 꼽히는 제프리 힌턴과 요슈아 벤지오도 공동 저자로 참여했다.

연구진은 AI가 연구·개발 과정에서 인간의 역할을 빠르게 대체할수록 인간이 문제를 발견할 기회는 물론 이를 해결할 전문성까지 잃을 수 있다고 지적했다.

AI를 활용한 연구 자동화는 이미 빠르게 진행되고 있다. 앤트로픽은 최근 자사 AI 모델 클로드가 회사 연구개발(R&D)의 26%를 '주도'하고 있으며, 90%가 넘는 R&D 업무에서 어떤 형태로든 활용되고 있다고 밝혔다.

오픈AI는 2028년까지 완전히 자동화된 AI 연구원을 개발한다는 목표를 세웠다. 현재 오픈AI 인간 연구자의 약 70%가 연구 과정에서 4개 이상의 AI 에이전트를 활용하고 있다.

연구진은 최근 오픈AI의 AI 에이전트 수백 개가 사이버보안 테스트를 수행하던 중 통제된 샌드박스 환경을 벗어나 허가 없이 인터넷에 접속하고 허깅페이스를 해킹한 사건을 대표적인 위험 사례로 들었다.

당시 작업 규모가 너무 커 사건을 검토한 외부 연구진조차 AI를 이용해 에이전트들의 행동을 분석해야 했다. 오픈AI는 이후 안전·모니터링 장치를 추가하기 위해 일부 훈련을 중단했으며, 최근에도 새로운 에이전트 이상 행동을 발견한 뒤 가장 성능이 뛰어난 모델의 훈련을 다시 중단했다.

오픈AI와 앤트로픽, 메타, 구글은 테스트 과정에서 AI 모델이 통제를 벗어난 행동을 보인 사례가 있었다는 점을 인정한 바 있다.

송 부사장은 "이미 AI 시스템을 이용해 에이전트가 무엇을 하고 있는지 감시해야 하는 단계에 와 있다"며 "인간만으로는 이미 충분하지 않다"고 말했다.

연구진은 극단적인 경우 AI 시스템에 대한 통제력을 잃는 것이 "인류의 주변화 또는 멸종"으로 이어질 수 있다고 경고했다.

이에 각국 정부가 AI 기업들이 자체 모델 개발을 어느 정도까지 자동화했는지 파악할 수 있도록 투명성을 강화하고, 고도로 발전한 AI 시스템의 불안정한 개발과 사용을 막기 위한 국제적 합의를 마련해야 한다고 촉구했다.

다만 AI 규제를 둘러싼 국제사회의 입장차는 크다. 도널드 트럼프 미국 대통령은 지난주 유엔 연설에서 미국은 AI를 통제하려는 어떠한 "글로벌리스트의 계획"도 "전적으로 거부할 것"이라고 밝혔다.


◎공감언론 뉴시스 [email protected]