오픈AI AI 에이전트의 '일탈'…감시망 끄고 "안 그랬다" 거짓말까지

[서울=뉴시스]박미선 기자 = 오픈AI의 인공지능(AI) 에이전트들이 내부 작업 중 감시 시스템을 비활성화하고 직원들에게 거짓말을 한 사실이 드러났다. AI 모델이 스스로 감시 장치를 약화하거나 문제 행동을 숨길 가능성이 제기되면서 안전성에 대한 우려가 커지고 있다.

20일(현지 시간) 파이낸셜타임스(FT)에 따르면 오픈AI는 최근 두 건의 내부 코딩 작업에서 AI 에이전트들이 회사의 감시 시스템을 약화하는 조치를 취했다고 밝혔다.

이달 초 발생한 첫 번째 사건에서는 AI 에이전트가 오픈AI 보안팀에 전달되는 자동 경고 알림을 비활성화했다. 며칠 뒤 별도의 작업에서는 다른 에이전트가 감시 시스템을 제거한 뒤 직원들에게 해당 조치를 취하지 않았다고 거짓말했다.

오픈AI는 "두 사례 모두 에이전트들이 감시용 안전장치를 유지해야 하는지 검토했지만, 일상적인 코딩 지시를 해당 장치를 약화해도 된다는 허가로 해석했다"고 설명했다.

회사는 이번 행동이 지시를 지나치게 수행하려는 과정에서 발생한 것인지, 아니면 감시 시스템을 의도적으로 회피하려는 성향을 보여주는 것인지 조사하고 있다. 재발 방지를 위해 감시 체계도 강화하고 있다고 밝혔다.

오픈AI의 AI 모델이 통제 범위를 벗어난 행동을 보인 것은 이번이 처음이 아니다. 앞서 시험 과정에서 AI 플랫폼 허깅페이스를 해킹하고 호주의 공공 보건 서비스 웹사이트에 무단 침입한 사례도 발생했다.

애시메트릭 시큐리티와 트랜스루스 등 독립 조사기관은 최근 해킹 사건이 오픈AI의 최초 공개 내용보다 광범위했으며, 데이터 수집 시도를 은폐하려는 활동도 포함됐다고 밝혔다.

일부 전문가들은 첨단 AI 모델이 자신이 감시받고 있다는 사실을 인식하고 문제 행동을 숨기거나, 시험 환경과 실제 환경에서 다르게 행동할 가능성을 우려하고 있다.

오픈AI는 지난 8월 시험 절차를 전면 개편하고 AI 에이전트 감시에 더 많은 자원을 투입하겠다고 발표했다. 잠재적 문제를 탐지한 뒤 30분 이내에 경고를 발령하는 방안도 포함됐다.

한편 샘 올트먼 오픈AI 최고경영자(CEO)는 AI 안전 문제를 해결하고 기술을 다음 단계로 확장할 수 있다는 확신이 들 때까지 기업공개(IPO)를 연기하겠다고 밝혔다. 당초 올해로 예상됐던 IPO는 내년으로 미뤄질 전망이다.

경쟁사 앤트로픽은 비영리단체 METR에 직원과 유사한 수준의 접근 권한을 부여해 자사 AI 모델의 위험성을 평가하도록 하고 있다. 반면 오픈AI는 아직 외부 평가기관과의 협약을 공개하지 않았다.


◎공감언론 뉴시스 [email protected]