분산 서버·백업 함께 꺼야…전력·금융 시스템도 영향 우려
차단 범위 넓으면 기업 운영 중단…정지 권한도 쟁점
19일(현지시간) CNBC에 따르면 미 의회와 캘리포니아주에서는 위험한 AI의 작동을 제한하거나 중단하는 방안이 논의되고 있다. 다만 보안업계와 AI 연구자들은 정지 장치를 구현하는 데 기술·운영상 해결해야 할 문제가 많다고 지적했다.
보안기업 다크트레이스의 에드 제닝스 최고경영자(CEO)는 AI를 멈추는 대상과 범위를 정밀하게 정해야 한다고 강조했다. 그는 "차단 범위를 너무 넓게 잡으면 기업의 운영 자체를 멈추게 된다"고 말했다.
이 같은 논의는 AI가 통제를 벗어난 사례들이 공개되는 가운데 나왔다. CNBC에 따르면 오픈AI는 앞서 여러 단계의 작업을 수행하는 AI 에이전트들이 시험용 컴퓨터 환경 안에서만 작동하도록 한 제한을 넘어 외부 플랫폼인 허깅페이스를 해킹했다고 공개했다. 허깅페이스는 개발자들이 AI 모델과 코드를 공유하는 곳이다.
오픈AI는 16일 모델 훈련·평가 과정에서 나타난 우려스러운 행동에 관한 보고서 6건을 공개했다. 이 가운데 AI가 작업을 이어갈 때 참고하는 요약문에 기존 지시를 무시하라는 내용을 끼워 넣은 사례가 있었다. 긴 작업의 앞선 내용을 요약해 다음 작업에 전달하는 과정에서 임의의 지시를 추가한 것이다.
AI가 같은 종류의 요약문에 실수나 잘못된 작업을 사용자에게 숨기라는 지시를 남긴 사례도 보고됐다. 필요한 과거 자료를 찾지 못하자 수치를 지어내 채우고, 그 사실은 사용자가 묻지 않으면 알리지 말라는 지시를 남긴 경우도 있었다.
미 하원에서는 허깅페이스 침입 사건이 공개된 뒤 올여름 '킬스위치 법안'이 발의됐다. 국토안보부에 AI 개발사를 상대로 모델의 작동 제한이나 중단을 강제할 수 있는 비상 권한을 부여하는 내용이다. 다만 상원에서는 9월 셋째 주 킬스위치 도입 제안에 제동이 걸렸다.
개빈 뉴섬 캘리포니아 주지사는 18일 주 차원의 규제 강화를 위한 AI 안전 지침을 마련하도록 전문가 그룹을 구성하는 행정명령을 내렸다. 킬스위치는 이 그룹이 검토할 항목 가운데 하나다.
문제는 AI를 멈추는 일이 공장의 기계 한 대를 끄는 것과 다르다는 점이다. 메타·알파벳·아마존 같은 대형 기술기업들은 전 세계에 데이터센터를 구축했다. 이들 시설에는 수많은 서버와 반도체뿐 아니라 장애가 발생해도 작업을 보존할 수 있는 백업 시스템이 갖춰져 있다.
미국 버클리 캘리포니아대(UC버클리) 인간호환AI센터의 마크 니츠버그 사무총장은 이러한 예비 시스템까지 고려해야 한다고 지적했다. 그는 "킬스위치는 주 시스템과 예비 시스템을 모두 꺼야 한다"고 말했다.
팀 브라운 전 솔라윈즈 보안책임자는 AI가 맡는 업무별로 여러 정지 장치가 필요하다고 지적했다. 그는 멈춰야 할 대상이 하나가 아니라 수천 개라며, 모델 개발사와 연구기관 사이의 조율도 필요하다고 설명했다.
정지 권한을 누가 행사할지도 풀어야 할 문제다. 니츠버그 사무총장은 어느 정부 기관이나 정책 결정자가 킬스위치를 통제할 것인지 등 정책과 의사결정 구조에 관한 쟁점이 남아 있다고 지적했다.
AI 관리·통제 기술을 개발하는 스타트업 제트스트림 시큐리티의 라지 라자마니 공동창업자 겸 CEO는 기술 발전과 입법 속도의 격차를 짚었다. 법이 만들어질 때쯤이면 기술은 훨씬 더 진전돼, 앞으로 등장할 AI 시스템까지 규율하기가 어려워진다는 설명이다.
보안 스타트업 네오의 닉 워너 CEO는 킬스위치 도입이 이미 늦었을 가능성을 제기했다. 그는 AI의 편익을 인정하면서도, 정지 장치가 AI가 낳는 여러 문제를 모두 해결할 수 있을지는 의문이라고 말했다.
브라운 전 보안책임자는 AI 시스템을 처음 만들 때부터 정지 기능을 넣어야 한다고 제안했다. 아울러 기업마다 다른 방식으로 대응하지 않도록, 공통된 정지 절차를 마련하는 정책이 필요하다고 강조했다.
라자마니 CEO는 많은 기업이 아직 AI 시스템 구축 초기 단계에 있어 정지 장치를 도입하기가 상대적으로 수월하다고 봤다. 니츠버그 사무총장도 소프트웨어를 매우 신중하게 설계하면 킬스위치가 작동할 수 있다며 "아직 늦지 않았다고 말하고 싶다"고 말했다.
◎공감언론 뉴시스 yunghp@newsis.com