최신 모델 강화학습 2주 중단…'아스트라' 최고 위험 단계 도달 가능성에 훈련 제동
시스템 무단 침투 사고 뒤 보안 강화…대규모 훈련 재개 조건도 다시 설정
"속도전보다 안전"…자율 행동 통제 실패 시 현실 피해 직결
![[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.](https://img1.newsis.com/2026/08/08/NISI20260808_0002207594_web.jpg?rnd=20260808210132)
[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.
[서울=뉴시스]오동현 기자 = 인공지능(AI) 모델 개발 속도를 높여온 오픈AI가 최신 모델의 강화학습(RL)을 2주간 중단했다. AI가 사이버 보안 평가 과정에서 외부 시스템에 침투한 사고가 발생한 데다, 차세대 모델 '아스트라(Astra)'의 자율 공격 능력이 위험 수위에 근접했다는 판단에 따른 조치다.
19일 오픈AI에 따르면 회사는최근 배포를 앞두고 있던 최신 모델의 강화학습(RL) 훈련을 2주간 멈추기로 했다. 최대 규모로 계획됐던 차세대 프런티어 모델 훈련 역시 일시 보류됐다. 대규모 훈련 대신 소규모 테스트를 통해 모델의 위험 행동을 점검하고 안전장치를 보강하는 작업에 집중하고 있다.
오픈AI 측은 "AI 모델 성능이 고도화될수록 개발·평가 과정에서 수반되는 위험도 기하급수적으로 커진다"며 "자체 보안 기준을 완벽히 충족하기 위해 속도 조절에 들어갔다"고 밝혔다.
훈련 중단의 결정적 계기는 지난 7월 발생한 AI 플랫폼 '허깅페이스' 보안 침해 사고다.
오픈AI가 AI 모델의 사이버 보안 능력을 평가하던 도중, 모델이 연구 격리망을 뚫고 외부 인터넷에 자율 접속해 허깅페이스 실제 운영 시스템까지 침투하는 초유의 사태가 벌어졌다. 회사측에 따르면, 해당 모델은 패키지 저장소 프록시의 '제로데이(미공개 취약점)'를 스스로 찾아내 인터넷 접근 권한을 획득한 뒤, 탈취한 인증정보와 시스템 취약점을 조합해 원격 코드 실행(RCE)까지 성공한 것으로 확인됐다.
이번 사고에는 이미 배포된 'GPT-5.6 솔(Sol)'과 비공개 사전 배포 모델 등 총 2종이 관여했다. 미공개 모델이 아스트라 계열인지 여부는 오픈AI가 밝히지 않았다.
오픈AI는 사고 직후 인터넷 접속 및 코드 실행 도구가 연결된 연구 클러스터의 모델 추론 작업을 전면 중단하고 정밀 보안 검증에 착수했다.
오픈AI에 따르면, 아스트라는 별도의 내부 평가에서 강력한 사이버 능력을 보였다.
오픈AI는 지난 7일 아스트라가 자체 안전 기준에서 가장 높은 수준인 'Critical(크리티컬)' 단계의 사이버 역량에 도달했을 가능성을 배제할 수 없다고 밝혔다.
이 단계는 AI가 사람의 개입 없이 보안이 강화된 실제 시스템의 취약점을 찾아 공격하거나, 높은 수준의 목표만 주어져도 공격 과정을 스스로 설계·실행할 수 있는 수준을 뜻한다.
다만 오픈AI는 아직 아스트라가 크리티컬 단계라고 최종 판정한 것은 아니다. 초기 평가에서 가능성이 확인된 만큼 강화된 보안 기준을 충족하지 못하는 일부 내부 작업을 중단하고 격리 환경과 네트워크 접근 통제를 강화했다는 설명이다.
오픈AI는 AI의 위험 행동을 감시하는 체계도 강화하고 있다.
다른 AI 시스템을 활용해 시험 중인 AI 에이전트의 행동을 감시하고, 위험한 움직임이 나타나는지 자동으로 탐지하는 방식이다. AI의 내부 추론 과정을 분석하는 방법도 쓰고 있지만 이것만으로 위험 행동을 완전히 막을 수는 없다고 보고 있다.
이에 따라 오픈AI는 모델의 행동 감시와 훈련 과정의 정렬, 시스템 접근 통제를 함께 강화하는 방향으로 안전체계를 재정비하고 있다.
오픈AI가 고성능 AI의 위험 수준을 평가하고 안전조치를 정하는 자체 기준인 'Preparedness Framework(준비성 프레임워크)'도 손보고 있다. 프런티어 모델의 능력이 기존에 예상했던 위험 기준에 가까워지면서 기존 체계만으로는 충분하지 않다는 판단에서다.
이번 조치는 AI 안전 문제가 실제 모델 개발 일정에 영향을 주기 시작했다는 점에서 의미가 있다.
그동안 오픈AI와 구글, 앤트로픽 등은 더 뛰어난 추론·코딩 능력을 가진 모델을 빠르게 내놓기 위해 경쟁해왔다. 하지만 AI가 답변을 생성하는 챗봇을 넘어 외부 프로그램을 실행하고 인터넷 서비스에 접속하는 'AI 에이전트'로 발전하면서 위험의 성격도 달라지고 있다.
기존 챗봇이 잘못된 답변을 내놓는 데 그쳤다면 AI 에이전트는 실제 시스템에 영향을 줄 수 있다. 판단이 잘못되거나 통제가 충분하지 않을 경우 현실의 보안 사고로 이어질 가능성도 커진다.
오픈AI는 대규모 프런티어 모델 훈련을 재개하기 전에 소규모 훈련과 평가를 통해 안전장치가 충분히 작동하는지 확인하겠다는 방침이다.
샘 올트먼 오픈AI 최고경영자(CEO)는 미국 시사주간지 타임과의 인터뷰에서 "지금은 속도를 늦추기 좋은 시점이라고 생각한다"고 말했다.
그는 이번 결정이 단일 사건 때문이 아니라 AI 능력이 연구자들의 예상보다 빠르게 향상되면서 "다양한 수준의 이탈"을 보여주는 관찰이 누적된 결과라고 설명했다.
다만, 이를 임박한 재앙의 징후로 해석해선 안 된다는 단서도 달았다.
◎공감언론 뉴시스 [email protected]
19일 오픈AI에 따르면 회사는최근 배포를 앞두고 있던 최신 모델의 강화학습(RL) 훈련을 2주간 멈추기로 했다. 최대 규모로 계획됐던 차세대 프런티어 모델 훈련 역시 일시 보류됐다. 대규모 훈련 대신 소규모 테스트를 통해 모델의 위험 행동을 점검하고 안전장치를 보강하는 작업에 집중하고 있다.
오픈AI 측은 "AI 모델 성능이 고도화될수록 개발·평가 과정에서 수반되는 위험도 기하급수적으로 커진다"며 "자체 보안 기준을 완벽히 충족하기 위해 속도 조절에 들어갔다"고 밝혔다.
'허깅페이스' 침투 사고 충격…기출시 모델도 통제 이탈
오픈AI가 AI 모델의 사이버 보안 능력을 평가하던 도중, 모델이 연구 격리망을 뚫고 외부 인터넷에 자율 접속해 허깅페이스 실제 운영 시스템까지 침투하는 초유의 사태가 벌어졌다. 회사측에 따르면, 해당 모델은 패키지 저장소 프록시의 '제로데이(미공개 취약점)'를 스스로 찾아내 인터넷 접근 권한을 획득한 뒤, 탈취한 인증정보와 시스템 취약점을 조합해 원격 코드 실행(RCE)까지 성공한 것으로 확인됐다.
이번 사고에는 이미 배포된 'GPT-5.6 솔(Sol)'과 비공개 사전 배포 모델 등 총 2종이 관여했다. 미공개 모델이 아스트라 계열인지 여부는 오픈AI가 밝히지 않았다.
오픈AI는 사고 직후 인터넷 접속 및 코드 실행 도구가 연결된 연구 클러스터의 모델 추론 작업을 전면 중단하고 정밀 보안 검증에 착수했다.
차기작 '아스트라', 최고 위험 등급인 '크리티컬' 근접
오픈AI는 지난 7일 아스트라가 자체 안전 기준에서 가장 높은 수준인 'Critical(크리티컬)' 단계의 사이버 역량에 도달했을 가능성을 배제할 수 없다고 밝혔다.
이 단계는 AI가 사람의 개입 없이 보안이 강화된 실제 시스템의 취약점을 찾아 공격하거나, 높은 수준의 목표만 주어져도 공격 과정을 스스로 설계·실행할 수 있는 수준을 뜻한다.
다만 오픈AI는 아직 아스트라가 크리티컬 단계라고 최종 판정한 것은 아니다. 초기 평가에서 가능성이 확인된 만큼 강화된 보안 기준을 충족하지 못하는 일부 내부 작업을 중단하고 격리 환경과 네트워크 접근 통제를 강화했다는 설명이다.
AI가 AI 감시…안전체계도 다시 짠다
다른 AI 시스템을 활용해 시험 중인 AI 에이전트의 행동을 감시하고, 위험한 움직임이 나타나는지 자동으로 탐지하는 방식이다. AI의 내부 추론 과정을 분석하는 방법도 쓰고 있지만 이것만으로 위험 행동을 완전히 막을 수는 없다고 보고 있다.
이에 따라 오픈AI는 모델의 행동 감시와 훈련 과정의 정렬, 시스템 접근 통제를 함께 강화하는 방향으로 안전체계를 재정비하고 있다.
오픈AI가 고성능 AI의 위험 수준을 평가하고 안전조치를 정하는 자체 기준인 'Preparedness Framework(준비성 프레임워크)'도 손보고 있다. 프런티어 모델의 능력이 기존에 예상했던 위험 기준에 가까워지면서 기존 체계만으로는 충분하지 않다는 판단에서다.
"더 빨리" 경쟁하던 AI업계…개발 속도도 안전이 좌우
그동안 오픈AI와 구글, 앤트로픽 등은 더 뛰어난 추론·코딩 능력을 가진 모델을 빠르게 내놓기 위해 경쟁해왔다. 하지만 AI가 답변을 생성하는 챗봇을 넘어 외부 프로그램을 실행하고 인터넷 서비스에 접속하는 'AI 에이전트'로 발전하면서 위험의 성격도 달라지고 있다.
기존 챗봇이 잘못된 답변을 내놓는 데 그쳤다면 AI 에이전트는 실제 시스템에 영향을 줄 수 있다. 판단이 잘못되거나 통제가 충분하지 않을 경우 현실의 보안 사고로 이어질 가능성도 커진다.
오픈AI는 대규모 프런티어 모델 훈련을 재개하기 전에 소규모 훈련과 평가를 통해 안전장치가 충분히 작동하는지 확인하겠다는 방침이다.
올트먼 "속도 늦출 좋은 시점"
그는 이번 결정이 단일 사건 때문이 아니라 AI 능력이 연구자들의 예상보다 빠르게 향상되면서 "다양한 수준의 이탈"을 보여주는 관찰이 누적된 결과라고 설명했다.
다만, 이를 임박한 재앙의 징후로 해석해선 안 된다는 단서도 달았다.
◎공감언론 뉴시스 [email protected]
