야쿠프 파호츠키 오픈AI 수석과학자 '아스트라' 공개 사흘 뒤 기고
AI 추론 감시 한계 지적…개발 속도 조절 공조 제안
국제 공통 안전기준 제안…외부 감사·정부 통한 집행 촉구
![[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.](https://img1.newsis.com/2026/08/08/NISI20260808_0002207594_web.jpg?rnd=20260808210132)
[보스턴=AP/뉴시스] 2023년 12월8일 미국 보스턴에서 챗GPT의 이미지 생성 모델 달리(DALL-E)가 만든 이미지가 컴퓨터 화면에 표시된 가운데 휴대전화에 오픈AI 로고가 보이고 있다. 2023.12.08.
[서울=뉴시스]오동현 기자 = 오픈AI 수석과학자가 인공지능(AI) 개발 속도를 조절하기 위한 국제공조를 각국 정부의 최우선 과제로 삼아야 한다고 촉구했다. AI 감시·통제 기술과 공통 안전기준을 확보해야 한다는 주장이다.
야쿠프 파호츠키 오픈AI 수석과학자는 6일(현지 시간) 공식 홈페이지에 공개한 기고에서 "기계 지능이 계속 빠르게 발전할 경우 초래될 결과에 누구도 준비돼 있지 않다"고 우려했다.
어떤 연구소도 최대 속도의 개발을 오래 이어갈 만큼 안전·감시 문제를 해결하지 못했다는 게 그의 판단이다.
기고는 오픈AI가 지난 3일 최신 모델 'GPT-6 아스트라'를 공개한 지 사흘 만에 나왔다. 오픈AI는 아스트라가 컴퓨터 조작과 소프트웨어 개발, 과학 연구 등에서 기존 모델을 뛰어넘는 성능을 갖췄다고 소개했다.
그레그 브록먼 오픈AI 사장은 4일 공개된 기술 분석 매체 스트래터커리(Stratechery) 인터뷰에서 범용인공지능(AGI) 시대에 들어섰다는 견해를 밝혔다. 다만 이전 모델과 아스트라, 다 모델 가운데 어느 시점에 다수의 사람이 생각하는 AGI 기준을 넘게 될지는 열어뒀다.
파호츠키는 AI가 문제를 풀며 생성하는 중간 추론 문장을 살펴 위험을 감지하는 방식의 한계를 지적했다. AI가 추론 문장 없이도 어려운 문제를 해결하면서, 이를 통한 감시가 점점 어려워지고 있다는 설명이다.
아스트라가 이전 모델보다 인간의 의도와 가치를 따르도록 개선됐다는 점은 인정했다. 그러나 이러한 안전성 개선이 앞으로 AI의 발전 속도를 충분히 앞설지는 장담하기 어렵다고 봤다.
오픈AI는 지난 1일 아스트라가 자사 모델 중 처음으로 자체 안전기준상 '중대(Critical)' 단계의 사이버 역량에 도달했다고 밝혔다. 적절한 도구와 접근 권한이 주어지면 사람의 단계별 지시 없이 보안 취약점을 찾고 공격 방법을 개발할 수 있다는 평가다.
다만 오픈AI가 공개한 고도화된 사이버 평가 결과는 별도 접근 권한을 부여한 환경에서 나온 것으로, 일반 서비스의 기본 설정과는 구분된다. 오픈AI는 악용 방지와 승인되지 않은 행동을 탐지·중단하는 보호조치를 강화해 출시할 수 있는 수준으로 중대한 피해 위험을 줄였다고 설명했다.
AI가 다음 AI를 개발하는 과정에 관여하는 연구 자동화도 진행 중이다. 오픈AI는 6일 별도 보고서에서 사람의 지휘 아래 명확한 연구 과제를 수행하는 '자동화된 연구 인턴' 목표를 자체 측정상 달성했다고 밝혔다. 숙련된 연구자가 며칠 걸릴 수 있는 과제도 맡는 수준이라는 설명이다.
오픈AI는 2028년 3월까지 자동화된 AI 연구자를 만드는 목표도 제시했다. 다만 연구 방향과 개발·배포 여부는 여전히 사람이 결정하며, AI가 스스로를 개선하는 전 과정을 안전하게 구현할 방법은 아직 알지 못한다고 밝혔다. 충분한 보호조치를 마련할 수 없는 시스템은 개발이나 배포를 늦추거나 중단하겠다는 입장이다.
파호츠키는 위험한 AI에 대응할 방어 기술에도 강력한 AI가 필요하다고 봤다. 안전 연구를 이어가면서 필요한 경우 개발 속도를 늦추기 위한 공조를 병행하자는 제안이다.
그는 기업의 자율적 안전 약속을 외부 감사기관이나 정부, 국제기구가 집행할 의무 기준으로 발전시켜야 한다고 주장했다. 공통 기준이 마련될 때까지 자발적으로 개발을 늦추는 흐름이 확산되길 기대했다.
이어 그는 "향후 AI 개발에 관한 국제공조가 전 세계 정부의 최우선 과제가 돼야 한다"고 강조했다.
◎공감언론 뉴시스 [email protected]
야쿠프 파호츠키 오픈AI 수석과학자는 6일(현지 시간) 공식 홈페이지에 공개한 기고에서 "기계 지능이 계속 빠르게 발전할 경우 초래될 결과에 누구도 준비돼 있지 않다"고 우려했다.
어떤 연구소도 최대 속도의 개발을 오래 이어갈 만큼 안전·감시 문제를 해결하지 못했다는 게 그의 판단이다.
기고는 오픈AI가 지난 3일 최신 모델 'GPT-6 아스트라'를 공개한 지 사흘 만에 나왔다. 오픈AI는 아스트라가 컴퓨터 조작과 소프트웨어 개발, 과학 연구 등에서 기존 모델을 뛰어넘는 성능을 갖췄다고 소개했다.
그레그 브록먼 오픈AI 사장은 4일 공개된 기술 분석 매체 스트래터커리(Stratechery) 인터뷰에서 범용인공지능(AGI) 시대에 들어섰다는 견해를 밝혔다. 다만 이전 모델과 아스트라, 다 모델 가운데 어느 시점에 다수의 사람이 생각하는 AGI 기준을 넘게 될지는 열어뒀다.
파호츠키는 AI가 문제를 풀며 생성하는 중간 추론 문장을 살펴 위험을 감지하는 방식의 한계를 지적했다. AI가 추론 문장 없이도 어려운 문제를 해결하면서, 이를 통한 감시가 점점 어려워지고 있다는 설명이다.
아스트라가 이전 모델보다 인간의 의도와 가치를 따르도록 개선됐다는 점은 인정했다. 그러나 이러한 안전성 개선이 앞으로 AI의 발전 속도를 충분히 앞설지는 장담하기 어렵다고 봤다.
오픈AI는 지난 1일 아스트라가 자사 모델 중 처음으로 자체 안전기준상 '중대(Critical)' 단계의 사이버 역량에 도달했다고 밝혔다. 적절한 도구와 접근 권한이 주어지면 사람의 단계별 지시 없이 보안 취약점을 찾고 공격 방법을 개발할 수 있다는 평가다.
다만 오픈AI가 공개한 고도화된 사이버 평가 결과는 별도 접근 권한을 부여한 환경에서 나온 것으로, 일반 서비스의 기본 설정과는 구분된다. 오픈AI는 악용 방지와 승인되지 않은 행동을 탐지·중단하는 보호조치를 강화해 출시할 수 있는 수준으로 중대한 피해 위험을 줄였다고 설명했다.
AI가 다음 AI를 개발하는 과정에 관여하는 연구 자동화도 진행 중이다. 오픈AI는 6일 별도 보고서에서 사람의 지휘 아래 명확한 연구 과제를 수행하는 '자동화된 연구 인턴' 목표를 자체 측정상 달성했다고 밝혔다. 숙련된 연구자가 며칠 걸릴 수 있는 과제도 맡는 수준이라는 설명이다.
오픈AI는 2028년 3월까지 자동화된 AI 연구자를 만드는 목표도 제시했다. 다만 연구 방향과 개발·배포 여부는 여전히 사람이 결정하며, AI가 스스로를 개선하는 전 과정을 안전하게 구현할 방법은 아직 알지 못한다고 밝혔다. 충분한 보호조치를 마련할 수 없는 시스템은 개발이나 배포를 늦추거나 중단하겠다는 입장이다.
파호츠키는 위험한 AI에 대응할 방어 기술에도 강력한 AI가 필요하다고 봤다. 안전 연구를 이어가면서 필요한 경우 개발 속도를 늦추기 위한 공조를 병행하자는 제안이다.
그는 기업의 자율적 안전 약속을 외부 감사기관이나 정부, 국제기구가 집행할 의무 기준으로 발전시켜야 한다고 주장했다. 공통 기준이 마련될 때까지 자발적으로 개발을 늦추는 흐름이 확산되길 기대했다.
이어 그는 "향후 AI 개발에 관한 국제공조가 전 세계 정부의 최우선 과제가 돼야 한다"고 강조했다.
◎공감언론 뉴시스 [email protected]
