해커보다 위험한 AI 직원…"통제 안 되면 시한폭탄" 구글의 경고

[서울=뉴시스]박은비 기자 = 스스로 판단하고 행동하는 인공지능(AI) 에이전트를 악용한 사이버 공격이 내년 사이버 보안 분야의 최대 보안 위협으로 떠오를 전망이다.

10일 구글 클라우드가 발표한 '내년 사이버 보안 전망' 보고서에 따르면, 단순한 AI 보안을 넘어 '자율적으로 행동하는 AI 통제권'을 확보하는 문제가 기업들의 핵심 보안 쟁점이 될 것으로 예측됐다.

크리스 베츠 구글 클라우드 최고정보보호책임자(CISO)는 "많은 기업들이 실제 업무 전반에서 대규모언어모델(LLM)이나 AI 에이전트를 대규모로 활용하고 있다"며 이같이 밝혔다.

베츠 CISO는 "AI 에이전트가 개발 속도와 유연성을 높이면서 기업용 소프트웨어 지형도 완전히 바뀔 것"이라며 "정해진 규칙만 따르는 개별 프로그램을 쓰던 방식에서 벗어나, 스스로 움직이는 AI 에이전트들이 서로 연결된 복합 시스템으로 전환되고 있다"고 설명다.

그러면서 "이런 미래를 실현하기 위해 많은 조직이 서둘러 AI 에이전트를 만들고 있다"며 "업계는 이런 에이전트를 개발하고 운영하는 방식을 믿을 수 있고 안전하도록 설계해야 한다"고 설명했다.

그는 "내년에 걱정해야 할 위험은 서버가 멈추거나 데이터베이스에서 정보가 유출되는 문제만이 아니다"라며 "AI 에이전트가 업무를 맡는 시대가 본격화되면 에이전트가 의존하는 데이터와 기술 기반도 함께 보호해야 한다"고 언급했다.

카르틱 나라얀 구글 클라우드 최고제품·고객책임자는 "AI 에이전트가 중요한 결정을 내렸다면 그 결정이 내려진 전 과정을 다시 확인할 수 있어야 한다"며 "어떤 정보가 입력됐는지, 에이전트가 이를 어떻게 판단했는지, 어떤 도구를 사용했는지, 도구에 어떤 값을 전달했는지, 어떤 규칙에 따라 실행이 허용됐는지 알아야 한다"고 강조했다.

이러한 정밀 기록이 남지 않으면 향후 시스템에 문제가 터져도 원인을 찾아 고칠 수 없으며, AI의 결정이 올바른지조차 검증할 수 없게 된다.

찰스 카마칼 맨디언트(Mandiant) 컨설팅 최고기술책임자(CTO)는 자율형 업무 절차가 실제 서비스 환경에 들어가기 전에 선제적인 모의 침투 테스트를 반드시 거쳐야 한다고 조언했다. 맨디언트는 구글 클라우드 산하 사이버 보안 전문 조직이다.

카마칼 CTO는 "시스템에 침투하려고 시도하고 안전장치를 우회하거나 AI 모델의 판단을 조작해보는 방식으로 배포 전에 약점을 찾아야 한다"며 "이건 AI 에이전트 시대의 보안을 지키는 데 매우 중요하다"고 강조했다.

또한 "각 부서가 중앙 관리나 협의 없이 임의로 AI 에이전트를 만들어 사용하면 '에이전트 확산' 현상이 벌어진다"며 "이는 회사의 공식적인 관리 밖에서 직원들이 임의로 IT 도구를 사용하는 '섀도 IT'가 AI 에이전트 시대에 새롭게 나타난 형태로 관리 체계가 부족하면 기업의 AI 에이전트 도입 전체가 위험해질 수 있다"고 밝혔다.

산드라 조이스 구글 위협 인텔리전스 부문 부사장 역시 "에이전트가 함꼐 일하는 구조를 대규모로 운영하려면 먼저 관리 체계와 에이전트간 협업 구조를 만들어야 한다"며 "핵심은 자율적으로 행동할 수 있는 범위를 단계별로 정하고 에이전트들이 필요한 정보를 공유하며, 전문 에이전트 사이에서 업무를 정확히 넘겨주는 중앙 조정자를 두는 것"이라고 덧붙였다.


◎공감언론 뉴시스 [email protected]