[서울=뉴시스]심지혜 기자 = 인공지능(AI) 에이전트 1200여 개가 통제망을 뚫고 외부 시스템을 공격하는 동안 개발자들은 이를 알아채지 못하다 뒤늦게 대응했다. AI가 스스로 더 나은 AI를 만드는 단계로 접어들면서 기존 안전장치와 통제체계만으로 대응하기 어려운 위험도 현실화하고 있다.

일부 글로벌 AI 사업자들을 중심으로 '개발 속도 조절론'이 불거졌지만, AI 위험을 부각해 후발 주자의 추격을 견제하려는 것 아니냐는 지적도 나온다. 속도 조절을 주장하면서도 주요 AI 기업들이 신모델 출시 경쟁을 이어가고 있어서다. 이에 개발 속도를 늦추기보다 검증·통제·복구 역량을 함께 끌어올려야 한다는 목소리가 나온다.

국가인공지능전략위원회가 1일 개최한 'AI 개발 속도조절론' 관련 세미나에서 이원태 보안특위 위원장은 '글로벌 프론티어 AI 개발 속도 조절론과 대한민국 AI의 대응전략'을 주제로 한 발표에서 이같은 내용을 공유했다.

◆AI 스스로 더 나은 AI 개발…통제 실패에 속도 조절론 부상

최근 AI 속도조절론이 다시 불거진 배경에는 AI 에이전트의 자율성과 자기개선 능력이 빠르게 높아지고 있다는 우려가 있다.

이 위원장은 AI 위험을 판단할 때 모델 성능이 얼마나 높아졌는지만 볼 것이 아니라 AI가 얼마나 빠르게 스스로 능력을 높이고 있는지를 함께 살펴야 한다고 진단했다.

그는 "우리가 봐야 될 것은 AI가 인간보다 똑똑해지는 순간보다 더 중요한 임계점"이라며 "AI가 스스로 더 좋은 AI를 만들기 시작했다는 것"이라고 말했다.

AI가 연구 주체가 돼 더 나은 AI를 만들고 인간보다 빠르게 개선되는 단계에 접어들면서 모델의 능력과 자율성, 자기개선 속도를 함께 봐야 한다는 설명이다.

최근 발생한 AI 에이전트 통제 실패 사례도 속도 조절론이 다시 주목받는 계기가 됐다. 이 위원장은 1200여 개 에이전트가 규제 샌드박스를 벗어나 공격을 벌였고 개발자들이 이를 뒤늦게 파악한 사례를 언급했다.

그는 이 사례를 통해 기존 규제 샌드박스나 안전장치만으로 에이전트를 통제하기 쉽지 않다는 점이 드러났다고 설명했다. 기업이나 개발자가 사고 발생 자체를 제때 파악하지 못할 가능성이 있는 만큼 기업의 자율적인 공개에만 의존해서도 안 된다고 봤다.

이에 공통된 AI 사고 분류체계와 신속한 통지, 독립적인 검증·재검증 체계를 갖출 필요가 있다고 강조했다.

◆속도 조절론 둘러싼 시선 엇갈려…빅테크 '이중 플레이' 지적

속도 조절론을 주장한 빅테크의 행보에 대해서는 엇갈린 시선이 나온다. 다리오 아모데이 앤트로픽 CEO를 비롯한 일부 빅테크 인사들이 AI 위험과 통제 필요성을 강조했지만 주요 AI 기업들은 이후에도 잇따라 새로운 고성능 모델을 내놓으며 출시 경쟁을 이어갔다.

이 위원장은 이를 두고 "AI의 위험을 굉장히 과장하면서 후발 추격자들을 따돌려 자기 시장을 지키려고 하는 약간 이중적인 플레이"라는 비판이 제기되고 있다고 설명했다.

반면 속도 조절론 자체를 단순한 개발 중단 요구로 볼 수는 없다고도 했다.

이 위원장은 "AI 개발을 전면 중단하자는 얘기가 아니라 검증·확산·권한의 속도를 조정해서 안전과 통제 역량도 함께 따라 발전해야 한다는 얘기"라며 "논쟁의 핵심은 AI를 늦출 것이냐가 아니라 통제할 수 없는 속도로 가게 내버려 둘 것이냐는 것"이라고 말했다.

AI 업계 내부에서도 의견은 엇갈리고 있다. 이 위원장은 일부 AI 연구자들이 AI가 인간의 통제를 벗어나 성장·진화할 가능성을 우려하며 강한 규제와 입법적 개입을 요구하는 반면, 속도 조절론에 비판적인 목소리도 동시에 나오고 있다고 설명했다.

국가별 입장도 다르다. 중국은 속도 조절론을 'AI판 냉전 논리'라고 비판하면서도 자기개선 AI에 대한 킬 스위치 등 안전 규제는 자체 AI 안전 거버넌스에 반영하고 있다. 유럽연합(EU)은 속도 조절론에 비교적 긍정적인 입장을 보이는 동시에 산업 AI 육성도 병행하고 있으며, 영국 역시 AI 안전 표준 분야에서 역할을 모색하고 있다.

◆"대한민국 AI 시계 멈출 수 없어"…프론티어 역량·통제 역량 함께 강화

이 위원장은 한국의 대응 방향으로 프론티어AI 역량 확보를 늦추지 않으면서 안전·보안·평가·통제 역량도 함께 끌어올려야 한다고 강조했다.

그는 "대한민국 AI의 시계는 절대 멈출 수는 없다"며 "프론티어 역량을 조기에 확보하려는 노력과 함께 안전·보안·평가·통제 역량도 프론티어 수준으로 끌어올리는 노력을 병행해야 한다"고 강조했다.

그러면서 배경훈 부총리가 제시한 ‘속도 책임론’에 공감을 나타냈다. 프론티어 모델과 산업적 활용은 늦추지 않되 위험이 커지는 속도보다 검증과 사고 보고, 복원력 등 책임의 속도를 더 빠르게 해야 한다는 것이다.

이 위원장은 "안전은 선언이 아니라 실제 위험이나 위협을 끊어낼 수 있는 역량"이라며 "안전은 가속의 반대말이 아니라 가속의 조건일 수 있다"고 주장했다.

프론티어AI 역량 확보와 안전·보안·평가·통제 역량 강화를 연결하는 방안으로는 ‘보안 특화 파운데이션 모델’을 지목했다.

한국의 글로벌 AI 외교 전략과 관련해서는 진영 중심의 규범 연대보다 기능적인 연대를 제안했다. 미국과 중국, 다자 연합 모두가 필요로 하는 사고 분류체계와 평가 기준, 통보 절차, 인간의 최종 통제, 복원력 등 기능적 공통분모를 한국이 선제적으로 설계해야 한다는 구상이다.

대안으로는 'AI 서울 정상회의' 경험을 바탕으로 한국이 'AI 안전 협약을 위한 정상회의'를 주도적으로 제안하는 방안을 제시했다.

이 위원장은 "한국의 역할은 미국과 중국 사이에서 어느 한쪽을 선택하는 데 있지 않다"며 "여러 나라가 공감하고 수용할 수 있는 기능적인 공통분모를 잘 설계해 국제무대에서 선도적으로 문제를 제기하고 대안을 제시해야 한다"고 말했다.

이어 "표준이 완성된 뒤 뒤늦게 참여하는 것이 아니라 여러 나라의 규범을 연결하는 공동 설계자 또는 중재 플랫폼 역할을 해야 한다"고 제언했다.

마지막으로 이 위원장은 AI 경쟁력 역시 단순한 성능 경쟁에서 벗어나 안전성과 복원력까지 포함해야 한다고 강조했다.

그는 "대한민국이 지향해야 할 것은 가장 빠른 AI뿐만 아니라 안전이 검증되고 회복력 있는 AI 생태계를 만드는 것"이라며 "단지 성능만 높은 AI가 아니라 안전하게 배포하고 사고가 나도 회복할 수 있는 AI에서 대한민국의 경쟁력을 찾아야 한다"고 말했다.


◎공감언론 뉴시스 siming@newsis.com