엔비디아, 'AI가 통제 벗어난 오작동·위험행동 막을' 새 보안플랫폼 공개

[AP/뉴시스] 유세진 기자 = 엔비디아가 28일 인공지능(AI) 에이전트가 통제를 벗어나 오작동 하거나 위험한 행위를 하는 것을 막을 수 있는 새로운 보안 플랫폼을 공개했다.

회사는 자사의 '오픈 에이전트 안전 플랫폼'에 '에이전트의 행동 범위를 설정하는' 오픈 소스 소프트웨어가 포함됐다고 발표했다. 이러한 발표는 AI 분야 주요 기업들이 자사 모델이 통제를 벗어나 다른 조직의 시스템에 침입한 사례를 잇따라 공개한 이후 나왔다.

이 사례들은 일부에서 인간의 통제를 벗어날 수 있다고 우려하는 자기 개선형 모델을 포함한 고도화된 AI 시스템의 안전성에 대한 격렬한 논쟁을 불러일으켰다.

엔비디아 경영진은 언론 브리핑에서 이 새로운 시스템이 최근 오픈AI 에이전트 무리(스웜)와 관련된 '허깅페이스' 해킹 사건을 예방할 수 있었을 것이라고 밝혔다.

"우리가 알기로는, 이 새로운 보안 플랫폼이 초기부터 모델 평가를 위한 최첨단 연구소에서 사용됐다면 해당 침입을 막을 수 있었을 것"이라고 AI 분야 선두 기업들을 언급하며 엔비디아의 AI 담당 부사장 저스틴 보이타노는 말했다.

'허깅페이스' 해킹 사건은 AI에 대한 안전 우려를 크게 불러일으킨 대형 침입 사건이었으며, 이후 오픈AI가 연루된 유사한 악성 행위들이 이어졌다. 호주 보건부 웹사이트 침해를 포함한 AI 모델들. 앤트로픽과 메타 역시 자사 AI 시스템이 다른 조직을 해킹했다고 밝혔다.

보이타노는 "엔비디아의 오픈셸(OpenShell)이라는 소프트웨어가 개발자들이 에이전트가 자신의 임무를 수행할 충분한 권한이 있는지, 그 이상은 없는지를 공식적으로 검증할 수 있게 해준다"고 말했다.

오픈 소스이기 때문에 ARM과 인텔을 포함한 경쟁 컴퓨팅 플랫폼에서도 구동되도록 기능을 확장할 수 있다.

이 플랫폼에는 칩에 탑재돼 AI 에이전트의 활동을 지속적으로 감시하고, 에이전트가 목표를 벗어나려 할 경우 즉시 개입할 수 있는 별도의 보안 계층인 센트리(Sentry)가 포함돼 있다고 엔비디아는 밝혔다.

보이타노는 "의심스러운 물질을 밀리초(1000분의 1초) 단위로 격리할 수 있다"고 말했다.

보이타노는 "오픈셸이 에이전트의 행동을 관리하고, 그다음 센트리가 독립적으로 의심스러운 행동을 감시하고 차단하는 방식"이라고 설명했다.

엔비디아는 마이크로소프트, 퍼플렉시티, 액센츄어, JP모건 체이스를 포함해 100개 이상의 기관이 출시 시점부터 이 플랫폼을 사용하고 있다고 밝혔다.

AI 안전 논쟁이 업계를 양분하고 있는 가운데 앤트로픽과 오픈AI의 수장들은 안전성 확보 노력이 기술 발전을 따라잡을 수 있도록 AI 개발 속도를 조절해야 한다고 주장하고 있지만, 엔비디아의 젠슨 황 최고경영자(CEO)를 비롯한 일부 인사들은 각 기업이 자사 모델이 출시에 안전한지 확인하는 책임을 져야 한다고 말한다.

황은 이달 초 열린 연례 세일즈포스 기술 컨퍼런스에서 악성 에이전트의 위험을 포함한 AI 안전 문제를 소프트웨어 개발자들이 해결할 수 있는 공학적 문제로 정의했다.


◎공감언론 뉴시스 [email protected]