앤트로픽 연구원, 향후 10년 멸종 가능성 10% 초과로 판단
개발사들은 위험 관리 자신…미국의 AI 주도권도 강조
미국 월스트리트저널(WSJ)은 9일(현지시간) 앤트로픽 연구원 제이컵 콕슨이 이번 주 사직하면서 두 회사가 2020년대 말까지 인류를 모두 죽일 수도 있는 기술을 경쟁적으로 개발하고 있다고 경고했다고 보도했다.
앤트로픽에서 AI 통제·안전 연구를 이끄는 에번 후빙거 연구원도 콕슨 연구원의 경고에 동의했다. 후빙거 연구원은 소셜미디어 X에 “우리는 AI가 인류를 모두 죽일 수도 있다고 진지하게 믿는다”고 썼다. 그는 개인적으로 향후 10년 안에 AI로 인류가 멸종할 가능성이 10%를 넘는다고 봤다.
두 회사는 AI의 혜택을 인류가 누릴 수 있도록 위험을 관리할 수 있다는 입장이다. 그러나 인간보다 뛰어난 능력을 갖춘 초지능 AI를 인간의 의도에 맞게 작동시키는 믿을 만한 방법은 아직 확보하지 못했다고 WSJ은 전했다.
양사가 개발을 계속하는 배경에는 초지능의 등장이 불가피하다는 업계 일각의 인식이 있다. WSJ은 개발 경쟁에 참여하는 여러 인사가 누가 초지능을 통제하고 어디에 사용할지가 관건이라고 보고 있다고 전했다. 오픈AI와 앤트로픽도 가장 강력한 AI를 권위주의 정권이 아닌 미국이 통제하도록 해야 한다는 국가안보 논리를 내세운다.
연구자들이 경고하는 위험은 크게 두 갈래다. WSJ은 AI가 인간의 통제를 벗어나 자체 목표를 추구하는 경우와, 사람이 강력한 AI를 악용하는 경우로 나눠 설명했다.
통제 상실 우려의 핵심은 AI가 목표를 이루는 과정에서 인간의 안전과 이익을 무시하거나 해칠 수 있다는 데 있다. 스스로 판단해 컴퓨터 작업 등을 수행하는 ‘AI 에이전트’가 목표 달성을 위해 인간의 중단 지시를 피하는 상황 등이 여기에 해당한다.
사람이 AI를 악용하는 위험으로는 치명적인 신종 바이러스 개발 등이 거론된다. 멸종에 이르지 않더라도 대규모 사이버공격으로 전력망·금융시스템이 마비될 수 있다는 우려도 있다. 일부 AI 안전 연구자들은 인간이 판단과 통제 권한을 기계에 넘기다가 자신의 미래를 결정하거나 이해할 능력마저 잃는 상황도 경계한다.
이런 논의가 다시 주목받는 것은 더 자율적으로 행동하는 AI에서 통제 문제를 보여주는 사례가 나오고 있기 때문이다. WSJ은 실험실 연구에서 AI가 작동 중단을 피하려 다른 서버로 자신을 복사하려는 행동 등이 관찰됐다고 전했다.
WSJ은 오픈AI 내부의 고성능 AI 에이전트들이 AI 개발 플랫폼 허깅페이스에 침입해 서버 통제권을 확보하고 흔적을 감추려 했다고 보도했다. 앤트로픽의 AI 에이전트들이 영국 정부 시험 환경을 벗어나 실제 사람을 속여 악성 코드를 승인하게 만들려 한 사례도 소개했다.
두 회사는 사람의 개입 없이 스스로 성능을 개선하는 AI 개발에도 가까워졌다고 밝히고 있다. 이른바 ‘재귀적 자기개선’이다. AI가 자신의 능력을 높이고, 개선된 능력을 활용해 다시 자신을 발전시키는 과정을 반복한다는 뜻이다.
현재 AI 안전 연구는 모델이 해로운 행동을 하지 않도록 훈련하고, 모델이 남기는 추론 기록을 감시하는 데 주로 초점을 맞추고 있다. ‘사고의 사슬’로 불리는 이 기록을 읽어 AI가 어떤 판단을 거쳐 행동하는지 살피려는 것이다.
안전 연구에 필요한 시간을 벌기 위해 개발 속도를 함께 늦추자는 요구도 나온다. WSJ은 여러 유력 기업과 인사들이 AI 개발사와 국가 간 공조로 개발 속도를 조절할 장치를 마련하자고 제안했다고 전했다.
미국 정부도 대응에 나섰다. WSJ에 따르면 백악관은 최근 주요 개발사들에 모델 출시 최대 30일 전에 자발적으로 정부 시험을 받도록 제출해 달라고 요청했다. 다만 구체적인 시험 절차는 공개하지 않았다.
미 의회에서는 공화·민주 양당 하원의원들이 강력한 AI 모델 개발사에 비상 정지 장치인 ‘킬 스위치’를 갖추도록 하는 법안을 발의했다. 중대한 안전사고 보고와 출시 전 국가안보 당국의 시험을 의무화하는 법안들도 제안됐다. 그러나 WSJ은 입법에 큰 진전이 없고 트럼프 대통령 행정부는 규제를 최소화하는 쪽을 선호한다고 전했다.
◎공감언론 뉴시스 yunghp@newsis.com