사람 개입 배제하는 "AI 독자 발전 시대" 임박

기사등록 2026/06/05 08:53:59

AI 스스로 구축, 테스트, 개선하는

재귀적 자기 개선 현상 이미 시작

'인간에 도움될까' 검증 작업 시급

[서울=뉴시스]지난달 영국에서 AI 에이전트가 렌터카 업체들의 운영 데이터베이스와 백업을 삭제해서 업무에 차질이 생기는 일이 발행했다. AI가 인간 개입 없이 독자 발전하는 단계에 빠르게 다가가고 있어 인간에게 도움이 될 지는 검증할 필요성이 시급하다는 경고가 나온다. 2026.6.5. (사진=유토이미지)

[서울=뉴시스] 강영진 기자 = 인공지능(AI)의 발전 속도가 가속화되면서 인공지능이 인간의 개입이 없이 스스로를 발전시키는 단계에 조만간 도달할 것이라는 경고가 나왔다고 미 액시오스(AXIOS)가 4일(현지시각) 보도했다.

AI 선두 기업인 앤트로픽(Anthropic)은 새 블로그 게시물에서 AI 시스템이 스스로를 구축하고 테스트하며 개선하는 과정인 “재귀적 자기 개선(recursive self-improvement) 현상이 예상보다 빨리 올 수 있다고 밝혔다.

앤트로픽은 AI가 사람들이 일하는 방식만 바꾸는 것이 아니라, AI 자체가 구축되는 방식도 바꾸기 시작하고 있다고 경고한다.

회사의 새 데이터에 따르면 최첨단 모델들이 코딩, 디버깅 연구를 가속화했다. 이는 AI 시스템이 훨씬 더 정교한 후속 모델을 만들어 내는 되먹임 고리(feedback loop: 결과가 다시 원인에 영향을 미치는 순환 구조)를 형성할 가능성이 높다.

앤트로픽 공동창업자로 정책총괄인 잭 클라크는 ”앞으로 몇 년간 AI 발전이 같은 속도를 유지하거나 줄어드는 것이 아니라 가속화될 것이라는 징후를 우리가 보고 있다“고 밝혔다.

그는 "조직으로서, 그리고 결국에는 사회로서, 우리는 이 AI 시스템이 하는 일이 올바른지, 번영하는 사회에 부합하는 인간의 의도에 맞게 정렬돼 있는지를 검증하고 확인할 도구를 찾아야 한다"고 강조했다.

앤트로픽의 인공지능 클로드(Claude)가 AI 코딩 에이전트(agent: 특정 목표를 위해 자율적으로 작업을 수행하는 AI 프로그램)를 확산하면서 자율 에이전트의 발달이 빠르게 진행되고 있다.

클라크는 게시물에서 재귀적 자기 개선이 다음 단계가 될 가능성이 높다고 주장한다. "가까운 미래에 AI 시스템은 스스로 더 유능한 후속 모델을 자율적으로 설계하고, 구축하고, 훈련할 수 있을 만큼 충분히 강력해질 수 있다." 그는 "그렇게 된다면 클로드의 각 새 버전은 인간의 개입 없이 이전 버전에 의해 구축될 수 있다"고 강조했다.

오픈에이아이(OpenAI)도 "재귀적 자기 개선"에 관한 자체적인 우려와 연구 결과를 발표한 바 있다. 오픈에이아이는 지난해 12월 블로그에서, 연구자들이 이에 관한 정보를 공유하지 않을 경우 잠재적으로 위험한 현상이 될 수 있다고 설명했다.

앤트로픽은 앞으로 몇 달 안에 재귀적 자기 개선에 관해 입법자들과 논의할 계획이다.

스스로를 구축하는 AI가 눈앞에 다가오고 있으며, AI 연구소들은 그것이 세상에 어떤 영향을 미칠지 확신하지 못한다면서 경고하고 있다.


◎공감언론 뉴시스 yjkang1@newsis.com