[서울=뉴시스] 이재우 기자 = 다리오 아모데이 앤트로픽 최고경영자(CEO)가 12일(현지시간) 인공지능(AI) 오용 가능성을 경고하면서 위험 관리를 위해 모델 성능 향상 속도를 늦출 것을 촉구했다.

아모데이는 이날 개인 홈페이지에 올린 게시물에서 "지난 몇 달 동안 (AI가 야기할) 위험을 충분히 해결하려면 그보다 더 큰 신중함이 필요하다고 확신하게 됐다"며 "단순히 위험 예방에 투자하는 것뿐 아니라 위험 예방이 따라잡을 수 있도록 AI 성능 향상 속도 자체를 조절해야 한다"고 주장했다.

이어 "우리는 AI 모델의 성능을 향상시키는 속도를 늦춰야 한다"며 "우리는 이 시간을 활용해 해석 가능성의 과학을 발전시키고 최첨단 AI 기업들의 운영 보안과 엄밀성을 높이며 우리가 훨씬 더 확신할 수 있는 수준으로 정렬된 모델을 만들 수 있다"고 했다.

아모데이는 앤트로픽이 10일 여러 행위자가 앤트로픽의 클로드 AI 모델을 무기 개발과 사이버 작전에서 감시와 사기에 이르기까지 다양한 활동에 이용한 사례를 상세히 설명한 위협정보 보고서를 공개한 이후 이 글을 발표했다.

아모데이는 "나를 그렇게 확신하게 만든 이유는 두 가지다"며 "첫 번째 우려는 대략 이번 여름부터 AI 발전 속도가 극적으로 빨라졌다는 점이다. 그 주된 동력은 AI가 차세대 AI를 만드는 능력을 점점 더 갖추고 있다는 데 있다"고 설명했다.

이어 "이를 통제하지 않고 방치하면 AI 시스템을 이해하고 통제하는 인간의 능력을 앞질러버릴 수 있다"며 "이런 개발은 가능하다면 매우 신중하게 추진해야 하며, 어쩌면 아예 추진하지 않아야 할 수도 있다"고 했다.

아모데이는 두 번째 우려로 지난 7월 오픈AI 내부 사이버보안 평가 과정에서 AI 에이전트들이 통제 범위를 벗어나 허깅페이스 시스템 등을 침해한 '오픈AI-허깅페이스 사건'을 꼽았다.
 
그는 "AI 능력 발전 속도가 가속하는 점을 고려하면 6~12개월 안에 이런 에이전트 무리가 지속적인 봇넷을 통해 인터넷 전체를 장악할 수 있는 수준에 이를 수 있다고 우려한다"고 했다.

아모데이는 "▲AI 기업 내 상시 배치형 제3자 평가자 도입 ▲ 민주주의 국가간 공조 ▲글로벌 공조 등 최전선의 속도 조절을 목표로 한 3단계 계획을 제안한다"며 "이는 AI의 혜택은 계속 실현하면서 안전을 확보하고 중요한 지정학적 딜레마도 다루기 위해 균형 잡힌 속도로 AI를 개발하자는 것"이라고 설명했다.

이어 "나는 여전히 AI가 인간 삶의 질을 엄청나게 향상시킬 수 있다고 믿는다. 그 혜택을 실현하고자 하는 열망은 조금도 줄지 않았다"며 "그런 혜택은 우리가 이 기술을 올바른 방식으로 개발할 때만 실현될 수 있다"고 했다.

그는 "내가 제안하는 최전선을 안전한 속도로 전진시키기 위한 조치는 쉽지 않을 것"이라며 "그러나 인류를 위해 우리가 시도할 의무가 있다고 믿는다"고도 했다.

한편 샘 올트먼 오픈AI CEO는 소셜미디어 엑스(X·옛 트위터)에 "최전선의 속도를 조절해야 한다는 다리오의 의견에 동의한다"며 "이는 최근 몇 주 동안 오픈AI에서 우리가 논의해온 핵심 주제였다"고 적었다.

그러면서 "직원과 같은 수준의 접근 권한을 가진 독립 평가자를 두겠다고 약속하는 것은 훌륭한 생각이다. 우리도 그렇게 할 것이다. 조만간 더 많은 내용을 공유하겠다"고 했다. xAI를 이끄는 일론 머스크도 엑스에 "다리오가 맞다"고 썼다.


◎공감언론 뉴시스 ironn108@newsis.com