앤트로픽·오픈AI 등 "안전 검증이 발전 속도 못 따라가"…AI 감속론 확산
韓 AI기본법, 산업 진흥하면서 위험 AI엔 별도 안전의무…올 1월 시행
최첨단·중대위험 AI엔 위험평가·완화 의무…에이전트 등 새 위험 대응은 숙제
안전 검증 체계가 기술 진보 속도를 따라잡지 못한다는 위기감이 고조되는 가운데, 한국형 규제 모델이 '혁신'과 '안전'이라는 양날의 검 사이에서 실질적인 균형점을 찾아낼 수 있을지 시험대에 올랐다.
◆美 빅테크서 번진 'AI 감속론'…"멈추자는 게 아니라 안전과 보조 맞추자"
15일 업계에 따르면다리오 아모데이 앤트로픽 최고경영자(CEO)가 '우리는 프론티어의 속도를 조절해야 한다'라는 제하의 기고문을 통해 AI 발전 속도와 통제 기술 간의 격차를 경고한 이후, 샘 올트먼 오픈AI CEO 등 주요 글로벌 빅테크 수장들이 속도 조율 필요성에 동조하는 목소리를 내고 있다.
아모데이 CEO가 제안한 '감속'은 연구 중단이 아닌, AI가 특정 능력치에 도달할 때마다 외부 평가 및 안전 검증을 거치는 일종의 '체크포인트' 시스템 구축이다. 다만 도널드 트럼프 미국 대통령이 중국과의 기술 패권 경쟁 열세를 이유로 규제 기조에 반발하면서 미 정치권으로도 논쟁이 급물살을 타고 있다.
한국에서는 이번 미국의 감속론이 전면 부상하기 전인 지난 1월부터 AI의 발전과 위험 관리를 함께 담은 AI기본법이 시행되고 있다.
한국 체계의 핵심은 일괄적 개발 제동을 피하고 '위험 수준에 따른 차등 의무'를 부여하는 점이다. 의료·에너지·교통 등 국민 생명과 기본권에 지대한 영향을 미치는 '고영향 AI'에는 위험 관리 방안 수립과 인간의 감독 의무를 명시하고, 생성형 AI 콘텐츠에는 식별 가능한 워터마크 등 AI 생성 사실 고지를 의무화했다.
특히 미국 빅테크의 프론티어 AI 통제론과 직결되는 대목은 최첨단 AI에 적용되는 별도 규정이다. 현행법 및 시행령은 ▲누적 학습 연산량이 10의 26승(10²⁶) FLOPs(부동소수점연산) 이상이며 ▲최첨단 기술이 적용되고 ▲기본권에 치명적 위험을 초래할 우려가 있는 초거대 AI 시스템을 대상으로 위험 식별·평가·완화 조치와 상시 모니터링 체계를 갖추도록 하고 있다.
모든 AI를 미리 규제하기보다는 일정한 '위험선'을 넘어선 시스템에 안전의무를 추가하는 방식이다. AI 능력이 빠르게 높아지는 만큼 일정 단계마다 그에 걸맞은 안전성을 확인해야 한다는 최근 미국 빅테크의 주장과 세부 방식은 다르지만 기본적인 문제의식에서는 접점이 있다.
◆법은 먼저 만들었지만 AI는 더 빨라졌다…'혁신·안전' 균형이 관건
문제는 AI 기술이 빠르게 진화하면서 법과 제도가 다뤄야 할 위험의 범위도 계속 넓어지고 있다는 점이다.
최근 미국에서 감속론이 급부상한 배경도 단순한 허위정보나 딥페이크 문제를 넘어선다. AI가 사람을 대신해 복잡한 업무를 연속 수행하는 에이전트로 진화하고, 사이버 공격이나 차세대 AI 개발에 AI 자체가 활용되면서 기존과 다른 수준의 위험 가능성이 제기되고 있다.
아모데이는 현재의 AI가 2023년 당시와는 질적으로 달라졌다고 주장한다. 당시에는 AI가 현실 세계에서 독립적으로 행동하거나 상당한 수준의 기만·조작·사이버 공격을 수행할 능력이 없었지만 지금은 이 같은 위험을 실제 모델을 통해 연구할 수 있는 단계에 접어들었다는 설명이다.
한국 AI기본법 역시 위험 식별·평가·완화 등 비교적 포괄적인 의무를 두고 있지만, 향후 AI 에이전트의 자율행동이나 AI를 활용한 AI 개발, 새로운 형태의 사이버 위협 등을 기존 법체계에서 어떤 기준으로 판단하고 평가할지는 계속 다듬어야 할 대목이다.
아울러 미국발 감속론을 국내 규제 강화의 명분으로 곧바로 수용하기에는 산업적 한계가 명확하다. 미국·중국에 비해 AI 파운데이션 모델과 데이터센터 인프라를 추격하는 단계인 한국 시장의 특성상, 과도한 규제 비용 증가는 국내 기업들의 기술 격차 축소 기회를 위축시킬 수 있기 때문이다.
전문가들은 "한국 AI기본법의 성공 여부는 법을 선제 제정했다는 타이틀을 넘어, AI 에이전트 등 최신 위협에 맞춰 세부 적용 기준을 유연하고 정교하게 다듬어내는 운용의 묘에 달렸다"며 "독자적 기술 생태계 육성을 방해하지 않으면서 글로벌 안전 규범에 발맞추는 균형감 있는 제도적 고도화가 시급하다"고 제언했다.
◎공감언론 뉴시스 hsyhs@newsis.com