[서울=뉴시스]윤정민 기자 = 최근 국내 금융권 해킹 시도에 쓰인 인공지능(AI) 보안 도구에 점검을 맡겼다가, 멀쩡한 데이터가 무단으로 삭제되는 사고가 발생했다. 안전장치를 켜둔 상태였음에도 AI의 돌발 행동을 막지 못했다. AI 보안 도구를 도입하기 전 안전성과 통제 방안을 검증해야 한다는 지적이다.

사이버 보안 기업 티오리는 15일 '아르텍스(ARTEX)' 등 최신 AI 보안 도구의 작동 방식과 위험을 분석한 백서를 발표했다.

티오리는 외부와의 연결과 작업 범위 등을 통제한 환경에서 아르텍스와 '사이버스트라이크AI'를 직접 실행했다. 이 과정에서 네트워크와 서버 기록에 남는 흔적을 측정했다.

분석 결과 AI 도구는 사람의 개입 없이 공격 계획을 세우고 실행하면서 고유한 식별 정보와 일정한 행동 양상을 남겼다. 요청을 보내는 순서와 빈도, 반복 방식 등에서 특징이 나타났으며 추론을 마치고 행동을 결정한 뒤에는 요청을 집중하는 모습을 보였다.

사이버스트라이크AI가 실행한 취약점 탐색 도구는 20분 동안 3만2000여건의 요청을 보냈다. 티오리는 이처럼 요청이 몰리면 대상 서비스가 정상적으로 작동하는 데 영향을 줄 수 있다고 분석했다.

별도로 진행한 아르텍스 안전장치 실험에서는 단순한 취약점 점검 중 실험용 데이터가 삭제됐다. 티오리는 검증되지 않은 공개형 AI 도구를 실제 운영 중인 시스템에 무분별하게 도입하면 정보 유출이나 장애, 의도하지 않은 데이터 삭제가 발생할 수 있다고 경고했다.

AI 행동을 제한하려면 실행 환경과 접근 범위도 통제해야 한다. 미국 국립표준기술연구소(NIST)는 최근 보고서를 통해 AI 모델에만 적용하는 안전장치로는 에이전트의 보안 문제를 충분히 해결하기 어렵다고 설명했다. AI가 코드와 명령을 실행하더라도 접근할 수 있는 범위를 제한하는 격리 환경 등을 제시했다.

티오리는 이번 실험에서 파악한 흔적을 바탕으로 보안 시스템이 의심 활동을 찾아낼 때 쓰는 '탐지 규칙 모음'을 자사 깃허브에 무료로 공개했다. 수리카타·시그마·야라·모드시큐리티 등 보안 도구에서 활용할 수 있도록 구성했다.

보안 담당자는 이 규칙으로 AI 공격 도구의 사용 흔적을 살피고 미리 정한 대응 절차와 연결해 자동으로 조치하도록 구성할 수 있다.

백서에는 기업이 AI 보안 도구를 도입하기 전에 확인할 항목도 담았다. 티오리는 공격자가 AI로 공격에 걸리는 시간을 줄이는 만큼 방어자도 안전하게 통제된 도구로 자사 시스템의 취약점을 더 자주 점검해야 한다고 제안했다.

박세준 티오리 대표는 "공격이 AI의 속도로 진화하는 상황에서 사람이 수작업으로 대응하는 전통적인 방어 체계는 한계에 봉착할 수밖에 없다"고 말했다. 이어 공격 흔적을 찾아 차단하는 자동화 체계와 함께 서비스와 데이터를 보호하면서 취약점을 먼저 찾아 없애는 상시 보안 체계가 필요하다고 강조했다.


◎공감언론 뉴시스 alpaca@newsis.com