[서울=뉴시스]박은비 기자 = 인공지능(AI) 비서가 사용자의 취향과 업무 방식을 스스로 기억하는 시대가 열렸다. 하지만 이 똑똑한 '기억력'을 노린 새로운 보안 위협이 고개를 들고 있다.

공격자가 AI의 기억에 악의적인 정보를 몰래 심어 잘못된 판단과 행동을 유도하는 '메모리 포이즈닝(Memory Poisoning·기억 오염)'이다.

25일 안랩 시큐리티 레터에 따르면 메모리 포이즈닝은 AI의 메모리에 가짜 정보나 악성 규칙을 주입해 지속해서 오작동을 일으키는 신종 공격 기법이다.

AI 에이전트의 메모리는 단순히 지금까지 나눈 대화 내용만 저장하는 게 아니다. 사용자가 어떤 것을 좋아하는지, 과거에 어떤 업무를 했는지, 이전에 작업 결과 등을 저장해뒀다가 이후 판단과 행동에 다시 활용한다.

이런 기능 덕분에 사용자는 같은 설명을 매번 반복하지 않아도 되고, 에이전트도 이전 대화나 업무 내용을 기억하기 때문에 앞선 맥락을 이어받아 작업할 수 있다. 하지만 오염된 정보가 장기 기억에 한 번 저장되면 문제가 달라진다. 관련 작업을 할 때마다 잘못된 정보가 계속 호출돼 AI의 판단을 끊임없이 왜곡하기 때문이다.

◆공격자 직접 해킹 없어도…정보 받아들이는 과정에서 잘못된 정보 유입 가능

공격자가 AI의 메모리 저장 공간을 직접 해킹해야만 이런 공격이 가능한 건 아니다. AI가 정보를 받아들이는 과정에서도 잘못된 정보가 스며들 수 있다. 예를 들어 대화 내용이나 외부 문서, 웹페이지 등에 잘못된 내용을 넣어두고 AI가 이를 읽도록 만드는 방식이다.

메모리 포이즈닝은 흔히 알려진 '프롬프트 인젝션'과 비슷해 보일 수 있다. 하지만 한 번 속이고 끝나는 게 아니라 공격이 남는다는 점에서 차이가 있다는 게 안랩 설명이다.

프롬프트 인젝션은 AI가 현재 읽고 있는 입력이나 외부 콘텐츠에 악성 지시를 넣어 AI가 그 지시를 따르게 만드는 공격이다. 반면 메모리 포이즈닝은 잘못된 정보가 AI 장기 메모리에 저장되고 나중에도 문제의 정보가 계속 활용된다.

 공격이 일어난 순간보다 그 이후가 더 위험한 이유다.

◆"AI 기억 무조건 믿어선 안 돼"…송금·삭제는 사용자 승인 거쳐야

메모리 포이즈닝을 막으려면 AI가 무엇을 기억하는지 점검하는 데 그쳐선 안 된다. 그 기억을 바탕으로 AI가 어떤 행동까지 할 수 있는지 통제해야 한다.

안랩은 메모리 포이즈닝을 막기 위해 'AI가 기억하고 있다는 이유만으로 그 정보를 믿지 않는 게 필요하다'고 조언했다. 먼저 어떤 정보를 AI의 장기 메모리에 저장할 것인지 정해야 한다.

외부에서 들어온 정보가 별도의 확인 없이 그대로 장기 메모리에 저장되지 않도록 검증하는 과정도 필요하다. 이와 함께 사용자나 세션에 따라 메모리를 구분하고, 필요하지 않은 정보가 너무 오랫동안 남지 않도록 저장 기간과 저장 범위를 제한하는 것 역시 중요하다.

AI에게 어떤 권한을 줄 것인지도 고민해야 한다. AI가 단순히 정보를 확인하는 역할이라면 파일을 수정하거나 삭제할 수 있는 권한까지 줄 필요는 없다.

AI가 맡은 업무에 꼭 필요한 만큼만 권한을 주는 게 안전하다. 특히 송금이나 환불, 데이터 삭제, 계정 권한 변경 같은 문제가 발생했을 때 큰 피해로 이어질 수 있어 주의가 요구된다.

이런 작업은 AI가 과거에 저장된 메모리만 보고 자동으로 처리하지 못하도록 하고, 사용자의 확인이나 승인을 다시 받도록 하는 게 좋겠다.

안랩 관계자는 "AI 에이전트 시대의 보안은 모델 자체를 보호하는 데서 끝나지 않는다"며 "무엇을 기억하게 할지, 그 기억을 얼마나 신뢰할지, 기억을 바탕으로 어디까지 행동하도록 허용할지 함께 설계해야 한다"고 설명했다.

한편 개인정보보호위원회도 AI 에이전트의 개인정보 보호와 보안 문제를 예의주시하고 있다. 송경희 개인정보보호위원장은 전날 국회 정무위원회 전체회의에서 "AI가 에이전틱 AI (방향으)로 가면서 개인정보위도 관련 문제를 적극적으로 들여다보고 있다"며 "AI 에이전트 가이드라인을 하반기에 내놓을 생각이고, 앞으로 AI를 사용하면서 개인정보 보호를 강화할 수 있는 부분에 대해서는 필요한 입법도 계속 준비하겠다"고 말했다.


◎공감언론 뉴시스 silverline@newsis.com