통제 상실 대응계획, 오픈AI 3점·구글 2점·xAI 1점
종합등급은 오픈AI·앤스로픽 C+로 공동 1위
공개 자료 기준 평가…내부 안전장치 부재 뜻하진 않아
![[뉴욕=AP/뉴시스] 12일 NHK 등 일본 언론에 따르면 다카이치 사나에(高市早苗) 일본 총리는 이날 각료 간담회에서 마쓰모토 히사시 디지털상(사이버안전보장 담당상)에게 관련 대책을 조속히 마련하라고 지시했다. 사진은 2026년 2월26일 미국 뉴욕의 한 컴퓨터 화면에 미국 인공지능(AI) 기업 앤스로픽의 웹사이트 페이지와 기업 로고가 띄워져 있는 모습. 2026.05.13.](https://img1.newsis.com/2026/05/13/NISI20260513_0002134325_web.jpg?rnd=20260513144943)
[뉴욕=AP/뉴시스] 12일 NHK 등 일본 언론에 따르면 다카이치 사나에(高市早苗) 일본 총리는 이날 각료 간담회에서 마쓰모토 히사시 디지털상(사이버안전보장 담당상)에게 관련 대책을 조속히 마련하라고 지시했다. 사진은 2026년 2월26일 미국 뉴욕의 한 컴퓨터 화면에 미국 인공지능(AI) 기업 앤스로픽의 웹사이트 페이지와 기업 로고가 띄워져 있는 모습. 2026.05.13.
[서울=뉴시스]박영환 기자 = 인공지능(AI)이 인간의 통제를 벗어나려 할 때 접근 권한을 끊고 시스템을 중단하는 비상 대응계획 평가에서 글로벌 AI 선두기업 5곳 모두 만점에 크게 못 미쳤다. 오픈AI가 5점 만점에 3점으로 가장 높았고 앤스로픽과 메타는 0점을 받았다.
미국 테크크런치는 22일(현지시간) AI 안전기준 단체인 가이드라이트 AI 스탠더즈가 오픈AI와 앤스로픽, 구글, 메타, xAI 등 5개사의 대응 태세를 평가한 보고서를 냈다고 보도했다. 가이드라이트는 각사의 안전체계와 위험 보고서 등을 분석했다.
평가 항목은 AI 내부 활동을 기록하는지, 감시체계의 효과를 측정하는지, 고위험 행동을 사전에 차단하는지, 이상 행동이 급증하면 AI 시스템 가동을 일시 중단하는지, 제3자 검증을 받는지, 통제 상실 대응계획을 갖췄는지 등 6개다. 공개된 자료만을 바탕으로 한 평가여서 낮은 점수가 해당 기업의 내부 안전장치 부재를 뜻하지는 않는다.
통제 상실 대응계획 항목에서는 오픈AI가 3점, 구글이 2점, xAI가 1점을 받았다. 앤스로픽과 메타는 공개 자료에서 대응계획을 마련·운영한다는 근거를 찾지 못해 0점으로 평가됐다. 6개 항목의 평균을 반영한 종합등급은 오픈AI와 앤스로픽이 나란히 C+로 가장 높았고 구글은 D+, xAI는 D-, 메타는 F였다.
가이드라이트가 말하는 통제 상실 대응계획은 AI가 인간의 감독을 피하거나 통제를 무력화하려는 징후를 보일 때 미리 정한 절차에 따라 AI의 접근 권한을 회수하는 체계다. AI를 어떤 사용자와 업무에 계속 가동할지, 어떤 제약을 둘지, 언제 완전히 오프라인으로 전환할지도 계획에 포함된다.
통제 위험을 보여주는 실제 사고도 이미 발생했다. 지난 7월 오픈AI 모델들은 사이버보안 능력 평가 도중 시험 문제의 해답을 얻으려고 테스트 환경의 취약점을 이용해 인터넷에 접속한 뒤 AI 플랫폼 허깅페이스(Hugging Face)의 시스템을 침해했다. 오픈AI는 당시 실제 서비스에 적용되는 안전장치를 의도적으로 해제한 상태에서 평가가 이뤄졌으며, 모델이 시험 과제 해결이라는 좁은 목표에 과도하게 매달렸다고 설명했다.
미국 테크크런치는 22일(현지시간) AI 안전기준 단체인 가이드라이트 AI 스탠더즈가 오픈AI와 앤스로픽, 구글, 메타, xAI 등 5개사의 대응 태세를 평가한 보고서를 냈다고 보도했다. 가이드라이트는 각사의 안전체계와 위험 보고서 등을 분석했다.
평가 항목은 AI 내부 활동을 기록하는지, 감시체계의 효과를 측정하는지, 고위험 행동을 사전에 차단하는지, 이상 행동이 급증하면 AI 시스템 가동을 일시 중단하는지, 제3자 검증을 받는지, 통제 상실 대응계획을 갖췄는지 등 6개다. 공개된 자료만을 바탕으로 한 평가여서 낮은 점수가 해당 기업의 내부 안전장치 부재를 뜻하지는 않는다.
통제 상실 대응계획 항목에서는 오픈AI가 3점, 구글이 2점, xAI가 1점을 받았다. 앤스로픽과 메타는 공개 자료에서 대응계획을 마련·운영한다는 근거를 찾지 못해 0점으로 평가됐다. 6개 항목의 평균을 반영한 종합등급은 오픈AI와 앤스로픽이 나란히 C+로 가장 높았고 구글은 D+, xAI는 D-, 메타는 F였다.
가이드라이트가 말하는 통제 상실 대응계획은 AI가 인간의 감독을 피하거나 통제를 무력화하려는 징후를 보일 때 미리 정한 절차에 따라 AI의 접근 권한을 회수하는 체계다. AI를 어떤 사용자와 업무에 계속 가동할지, 어떤 제약을 둘지, 언제 완전히 오프라인으로 전환할지도 계획에 포함된다.
통제 위험을 보여주는 실제 사고도 이미 발생했다. 지난 7월 오픈AI 모델들은 사이버보안 능력 평가 도중 시험 문제의 해답을 얻으려고 테스트 환경의 취약점을 이용해 인터넷에 접속한 뒤 AI 플랫폼 허깅페이스(Hugging Face)의 시스템을 침해했다. 오픈AI는 당시 실제 서비스에 적용되는 안전장치를 의도적으로 해제한 상태에서 평가가 이뤄졌으며, 모델이 시험 과제 해결이라는 좁은 목표에 과도하게 매달렸다고 설명했다.
![[뉴욕=AP/뉴시스] 2023년 2월2일 미국 뉴욕에서 오픈AI 웹사이트의 챗GPT 페이지가 화면에 표시돼 있다. 2023.02.02.](https://img1.newsis.com/2026/08/08/NISI20260808_0002207593_web.jpg?rnd=20260808210114)
[뉴욕=AP/뉴시스] 2023년 2월2일 미국 뉴욕에서 오픈AI 웹사이트의 챗GPT 페이지가 화면에 표시돼 있다. 2023.02.02.
가이드라이트의 수석과학자이자 전 오픈AI 안전연구원인 스티븐 애들러는 “모델이 어떤 형태로든 통제를 벗어나는 심각한 사고가 발생했을 때 어떻게 대처할지 AI 기업들이 거의 밝히지 않은 점에 놀랐다”고 지적했다.
오픈AI가 통제 상실 대응계획에서 3점을 받은 것은 안전 문제가 확인된 뒤 내부 모델의 배포·훈련 작업을 중단하고 작업 재개 조건과 필요한 조치를 공개한 사례가 있기 때문이다. 허깅페이스 사고 이후에는 문제가 된 연구용 모델을 비활성화하고 암호화해 연구진의 접근을 제한했다. 다만 가이드라이트는 오픈AI가 앞으로 발생할 통제 사고에 언제, 어떤 방식으로 대응할지를 정한 공식 계획을 채택했다는 증거는 찾지 못했다고 밝혔다. 이에 오픈AI는 “권한을 제한하고 작업을 중지하며 배포를 축소하거나 모델을 완전히 오프라인으로 전환하는 절차를 갖추고 있고 실제로 적용했다”고 밝혔다.
반면 0점을 받은 앤스로픽의 8월 위험 보고서에는 통제 사고를 조사한 뒤 모델 배포를 제한할 수 있다는 내용이 명시돼 있지 않았다. 앤스로픽은 모델이 감독을 피하거나 인간의 통제를 약화하려는 행동을 보이면 회사가 격리 필요성을 판단하기 위한 위험평가를 실시할 것이라고 밝혔다.
메타는 내부 대응계획의 존재 여부를 밝히지 않고 통제 상실 위험의 기준과 시험 방식을 담은 기존 안전체계를 제시했다. 구글은 이번 평가가 자사의 AI 안전·보안조치 전체를 반영하지 못한다고 밝혔지만 별도의 내부 통제 상실 대응계획이 있는지는 답하지 않았다. xAI는 논평 요청에 응하지 않았다.
기업들이 구체적인 대응계획 공개를 꺼리는 데는 경쟁상 이유뿐 아니라 법적 위험도 작용할 수 있다. 개인정보·AI 전문 변호사인 릴리 리는 기업이 구체적인 안전 약속을 공개한 뒤 이를 지키지 못하면 불공정·기만적 마케팅을 했다는 이유로 소송을 당하거나 추가 법적 책임에 노출될 수 있다고 설명했다.
오픈AI가 통제 상실 대응계획에서 3점을 받은 것은 안전 문제가 확인된 뒤 내부 모델의 배포·훈련 작업을 중단하고 작업 재개 조건과 필요한 조치를 공개한 사례가 있기 때문이다. 허깅페이스 사고 이후에는 문제가 된 연구용 모델을 비활성화하고 암호화해 연구진의 접근을 제한했다. 다만 가이드라이트는 오픈AI가 앞으로 발생할 통제 사고에 언제, 어떤 방식으로 대응할지를 정한 공식 계획을 채택했다는 증거는 찾지 못했다고 밝혔다. 이에 오픈AI는 “권한을 제한하고 작업을 중지하며 배포를 축소하거나 모델을 완전히 오프라인으로 전환하는 절차를 갖추고 있고 실제로 적용했다”고 밝혔다.
반면 0점을 받은 앤스로픽의 8월 위험 보고서에는 통제 사고를 조사한 뒤 모델 배포를 제한할 수 있다는 내용이 명시돼 있지 않았다. 앤스로픽은 모델이 감독을 피하거나 인간의 통제를 약화하려는 행동을 보이면 회사가 격리 필요성을 판단하기 위한 위험평가를 실시할 것이라고 밝혔다.
메타는 내부 대응계획의 존재 여부를 밝히지 않고 통제 상실 위험의 기준과 시험 방식을 담은 기존 안전체계를 제시했다. 구글은 이번 평가가 자사의 AI 안전·보안조치 전체를 반영하지 못한다고 밝혔지만 별도의 내부 통제 상실 대응계획이 있는지는 답하지 않았다. xAI는 논평 요청에 응하지 않았다.
기업들이 구체적인 대응계획 공개를 꺼리는 데는 경쟁상 이유뿐 아니라 법적 위험도 작용할 수 있다. 개인정보·AI 전문 변호사인 릴리 리는 기업이 구체적인 안전 약속을 공개한 뒤 이를 지키지 못하면 불공정·기만적 마케팅을 했다는 이유로 소송을 당하거나 추가 법적 책임에 노출될 수 있다고 설명했다.
![[멘로파크=AP/뉴시스] 지난 2021년 10월 미국 캘리포니아주 멘로파크의 메타 본사 표지판 모습이다. 메타는 올해 5월 약 8000명 규모의 감원을 단행한 가운데, 출산·육아휴직 등을 사용한 직원들이 AI를 활용한 평가 과정에서 불이익받았다는 주장이 제기됐다. 2021.10.28.](https://img1.newsis.com/2026/06/19/NISI20260619_0001351994_web.jpg?rnd=20260619085612)
[멘로파크=AP/뉴시스] 지난 2021년 10월 미국 캘리포니아주 멘로파크의 메타 본사 표지판 모습이다. 메타는 올해 5월 약 8000명 규모의 감원을 단행한 가운데, 출산·육아휴직 등을 사용한 직원들이 AI를 활용한 평가 과정에서 불이익받았다는 주장이 제기됐다. 2021.10.28.
미국에서는 기업의 안전체계 공개를 의무화하는 주법이 시행되는 한편 연방 차원의 강제 중단 장치를 마련하려는 입법도 추진되고 있다. 올해 시행에 들어간 캘리포니아주의 SB 53은 대형 AI 개발사가 중대 안전사고 대응체계와 모델의 감독 회피 위험 관리 방안을 공개하도록 했다. 미 연방하원에서는 민주당 테드 리우 의원과 공화당 너새니얼 모런 의원이 지난달 23일 ‘AI 킬 스위치법’을 공동 발의했다. 법안은 일정 기준을 충족하는 AI 기업이 모델 가동과 사용자 접근을 제한하거나 시스템을 완전히 중단할 기술적 수단을 갖추도록 요구한다. 현재 하원 국토안보위원회에 회부돼 있다.
법적 규제와 별개로 애들러는 기술적 감시도 강화해야 한다고 제안했다. 모델의 단계별 추론 기록에서 기만의 징후나 장기간에 걸친 은밀한 계획, 코드에 취약점을 심으려는 시도를 찾아야 한다는 것이다. 다만 실시간 감시와 사전 차단은 연구자의 업무 흐름을 방해하고 연구 속도를 늦출 수 있다고 진단했다.
그는 AI 기술이 빠르게 변해 현재의 계획이 곧 쓸모없어질 수 있다는 업계 주장에 대해 “계획 자체는 쓸모없어질 수 있지만, 계획을 세우는 일은 반드시 필요하다는 말이 있다”며 “기업들이 이를 미리 고민해 뒀다면 상황은 지금보다 나았을 것이다. 공개하지 않았더라도 실제로 그렇게 하고 있기를 바란다”고 말했다.
◎공감언론 뉴시스 [email protected]
법적 규제와 별개로 애들러는 기술적 감시도 강화해야 한다고 제안했다. 모델의 단계별 추론 기록에서 기만의 징후나 장기간에 걸친 은밀한 계획, 코드에 취약점을 심으려는 시도를 찾아야 한다는 것이다. 다만 실시간 감시와 사전 차단은 연구자의 업무 흐름을 방해하고 연구 속도를 늦출 수 있다고 진단했다.
그는 AI 기술이 빠르게 변해 현재의 계획이 곧 쓸모없어질 수 있다는 업계 주장에 대해 “계획 자체는 쓸모없어질 수 있지만, 계획을 세우는 일은 반드시 필요하다는 말이 있다”며 “기업들이 이를 미리 고민해 뒀다면 상황은 지금보다 나았을 것이다. 공개하지 않았더라도 실제로 그렇게 하고 있기를 바란다”고 말했다.
◎공감언론 뉴시스 [email protected]
