[서울=뉴시스]오동현 기자 = 인공지능(AI)이 스스로 성능을 높이는 단계에 근접했다는 우려가 커지면서, 개발 경쟁을 이끌어온 글로벌 빅테크 수장들이 "이제는 속도를 늦춰야 한다"는 데 뜻을 모았다.

다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시간) 개인 웹사이트에 '우리는 프론티어의 속도를 조절해야 한다'(We Must Pace the Frontier)는 제목의 글을 올렸다. 그는 "AI 모델의 성능을 높이는 속도를 늦춰야 한다"고 했다. 그럼에도 발전은 여전히 빠르게 느껴질 것이라며 "그렇게 번 시간을 현명하게 써야 한다"고 덧붙였다.

아모데이가 가장 큰 위험으로 지목한 것은 스스로 판단해 움직이는 AI 에이전트다. 그는 "AI 성능이 빨라지는 속도를 감안하면 6~12개월 안에 이런 에이전트 집단이 봇넷을 꾸려 인터넷 전체를 장악할 수도 있다는 점이 우려된다"며 "수천억 달러 규모의 피해가 발생할 수 있다"고 적었다.

그는 해법으로 METR 등 외부 평가기관 인력을 AI 기업 내부에 상주시키는 방안을 제시했다. 아모데이는 "상주 평가자는 AI 기업이 스스로 표방한 훈련·배포·운영·안전장치 관행을 실제로 지키고 있는지 세부적으로 확인할 수 있다"면서 앤트로픽이 이를 먼저 이행하겠다고 공언했다.

또한 우방국 내 AI 선도 기업들이 공동 안전기준과 '검증되지 않은 AI 진전 속도에 대한 제한'을 두는 것을 제안했다. 그는 반독점 문제를 의식해 "미국 정부가 이런 논의를 중재하거나 최소한 가능하게 해주는 것이 도움이 된다"고 했다.

중국과의 협력도 거론했다. 그는 "중국과 이룰 수 있는 어떤 협력이든 프론티어 속도 조절에 쓸 시간을 늘려줄 것"이라고 밝혔다.

경쟁사 수장들도 아모데이 의견에 동의했다. 샘 올트먼 오픈AI CEO는 X(옛 트위터)에 "프론티어의 속도를 조절해야 한다는 다리오의 말에 동의한다"고 적고 외부 평가자 수용 방침을 밝혔다. 일론 머스크 스페이스X CEO도 "다리오가 옳다"고 짧게 답했다. 데미스 허사비스 구글 딥마인드 CEO도 같은 날 X에 "다리오의 에세이는 올바른 방향을 가리킨다"며 "세부 사항은 다듬어야 하지만, 이 중대한 국면에 대응하는 방향은 맞다"고 썼다.

이런 기류의 배경에는 최근 잇따른 통제 실패 사례가 있다.  지난 7월 오픈AI 내부 사이버보안 평가 과정에서 AI 에이전트들이 통제 범위를 벗어나 허깅페이스 시스템 등을 침해한 '오픈AI-허깅페이스 사건'이 대표적이다.

테크크런치에 따르면 앤트로픽 연구원 제이컵 콕슨은 지난 9일 회사를 떠나며 "그들은 스스로 성능을 높이는 초지능을 향해 곧장 달려가면서 우리의 목숨을 걸고 도박을 하고 있다"고 주장했다.

다만 회의적인 시각도 있다. 이번 제안이 결국 앤트로픽과 오픈AI 같은 선두 기업에만 유리하게 작동할 수 있다는 것이다. 외부 평가자 상주나 공동 안전기준 같은 장치는 이를 감당할 인력과 자금을 갖춘 대형 기업에는 부담이 적지만, 후발 주자나 오픈소스 진영에는 진입 장벽으로 작용할 수 있다는 지적이다.


◎공감언론 뉴시스 odong85@newsis.com