[서울=뉴시스]이주영 기자 = 인공지능(AI)이 사람을 대신해 이메일을 보내고 기업 내부 자료를 검색하는 시대다. 하지만 AI가 어떤 정보를 열람하고 무슨 작업을 수행했는지 확인할 수 없다면 문제가 생겨도 원인을 파악하기 어렵다.

사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)는 AI에 업무를 맡기되 모든 행동을 기록하고 외부에서 검증할 수 있도록 해야 한다며 7가지 통제 원칙을 제시했다.

나델라 CEO는 지난 10일 엑스(X·옛 트위터)에 게시한 '초지능 시대의 내부자 위험으로서의 모델'이라는 글에서 AI 시스템의 신뢰와 통제 체계를 재설계해야 한다고 주장했다.

나델라 CEO는 기존 소프트웨어와 AI의 가장 큰 차이로 행동의 원인을 추적하기 어렵다는 점을 꼽았다. 기존 소프트웨어는 특정 코드의 실행 경로를 따라 문제가 발생한 원인을 확인할 수 있지만, AI는 어떤 학습 데이터나 모델 내부 설정이 특정 결과를 만들어냈는지 정확하게 파악하기 어렵다.

그럼에도 기업들은 AI에 민감한 정보를 제공하고 핵심 업무까지 맡기고 있다. 나델라 CEO는 AI 모델 제공업체가 안전성을 보장하더라도 실제 업무에 활용하는 기업의 책임까지 사라지는 것은 아니라고 지적했다.

그는 AI를 기업 내부의 중요 정보에 접근할 수 있는 직원처럼 관리해야 한다고 제안했다. AI가 반드시 악의적인 행동을 한다는 뜻은 아니다. 중요한 시스템에 접근할 권한을 가진 존재라면 실수하거나 외부 공격에 악용될 가능성까지 고려해야 한다는 취지다.

나델라 CEO는 이를 위해 ▲모델 다양성 ▲모든 행동의 관찰·기록 ▲검증 가능성 ▲독립적인 통제 ▲독립적인 감사 ▲위험 발생 시 차단 ▲사고 공개 등 7가지 원칙을 제시했다.

◆AI의 자체 검증만 믿어선 안 돼…모든 행동 기록·감사해야

나델라 CEO는 중요한 업무를 하나의 AI 모델에만 의존하거나 해당 모델이 자신의 작업 결과를 직접 검증하도록 해서는 안 된다고 강조했다. 핵심은 AI가 자신의 행동을 스스로 평가하도록 맡기지 않는 것이다.

그는 AI 모델뿐 아니라 업무를 지시하고 실행하는 시스템까지 내부 작동 과정을 파악하기 어려운 '블랙박스'가 될 수 있다고 지적했다. 한 AI의 판단을 또 다른 AI가 검증하더라도 검증 과정 자체가 불투명하다면 신뢰 문제를 해결하기 어렵다.

AI의 사고 과정인 '생각의 사슬'을 투명하게 공개하는 것만으로도 한계가 있다고 봤다. AI가 자신의 판단 과정을 설명하더라도 그 설명이 실제 작동 과정을 정확하게 반영한다고 보장할 수 없기 때문이다.

모든 주요 행동을 사람이 이해할 수 있는 형태로 기록하는 것도 필수 원칙으로 꼽았다. AI가 어떤 자료에 접근하고 어떤 작업을 수행했는지 확인할 수 있어야 하며 기록은 사후에 임의로 변경할 수 없도록 해야 한다는 것이다.

나델라 CEO는 "모델의 설명에 의존하지 않고도 결과가 어떻게 도출됐는지 재현할 수 있어야 한다"고 밝혔다. 또 "성공적인 작업뿐 아니라 실패, 공격, 예외적인 상황, 시스템 변경 등을 포함해 전체 시스템을 지속적으로 검증해야 한다"고 덧붙였다.

◆접근 권한은 모델 밖에서 통제…위험 땐 '비상 브레이크'

AI의 업무 수행 권한과 통제 권한을 분리해야 한다는 점도 역설했다. AI 스스로 자신의 접근 권한을 확대하거나 이를 제한하는 장치를 우회할 수 없도록 설계해야 한다는 의미다.

예를 들어 기업이 AI에 고객 문의 응대를 맡기더라도 고객정보 열람 범위나 환불 처리 권한은 별도 시스템에서 제한하는 방식이다. AI가 업무를 수행하더라도 어디까지 실행할 수 있는지는 기업이 통제하도록 해야 한다는 취지다.

나델라 CEO는 "모델이 접근할 수 있는 정보와 수행할 수 있는 작업을 통제하는 장치는 모델 외부에 있어야 한다"고 밝혔다. 이는 프로그램이 자신의 권한을 제한하는 장치를 우회하거나 변경할 수 없어야 한다는 1970년대부터의 정보보안 원칙에 기반한 주장이다.

AI 시스템을 검증하는 감사 체계 역시 AI 모델과 독립적으로 운영해야 한다고 제안했다. 하나의 모델이 업무 수행과 해당 업무의 적절성을 판단하는 데 필요한 증거까지 모두 통제해서는 안 된다는 것이다.

예상하지 못한 행동이 발생할 경우 즉시 작업을 멈출 수 있는 '비상 브레이크'도 필요하다고 봤다. AI 모델이 이미 침해됐을 가능성을 가정하고 처음부터 위험을 차단할 수 있도록 설계해야 한다는 것이다.

나델라 CEO는 "권한을 가진 사람은 언제든 작업 도중 모델을 일시 중지하거나 종료할 수 있어야 한다"며 "더 발전된 모델일수록 더 정교한 차단 기술이 필요하며 이를 표준화해야 한다"고 밝혔다.

마지막 원칙은 사고 공개다. AI 시스템이 오작동하거나 외부 공격으로 침해됐을 때 영향을 받은 당사자에게 신속하게 알리고, 어떤 통제 장치가 작동하지 않았는지와 재발 방지 방안을 공유해야 한다는 것이다.


◎공감언론 뉴시스 zoo@newsis.com