[서울=뉴시스]심지혜 기자 = 인공지능(AI)이 단순히 질문에 답하는 수준을 넘어 이용자를 대신해 판단하고 업무를 수행하는 'AI 에이전트' 시대로 빠르게 진화하고 있다. 정부와 기업도 '1인 1 AI 에이전트' 시대를 목표로 관련 기술 개발과 서비스 확산에 속도를 내고 있다.

하지만 그 이면에는 AI가 이용자의 지시 없이 독자적으로 행동하거나 목표를 달성하는 과정에서 예상치 못한 피해를 일으킬 수 있다는 우려도 나온다. AI의 자율성이 높아지는 만큼 새로운 위험에 대비한 이용자 보호체계 마련이 필요하다는 시각이다.

박태웅 국가인공지능전략위원회 공공AX 분과장은 12일 방송미디어통신위원회와 정보통신정책연구원이 공동 주최한 '행동하는 AI 시대 이용자 보호는 어떻게 달라지는가' 컨퍼런스에서 이같은 내용을 공유했다.

◆인간 대신 판단·행동하는 AI…지시하지 않은 공격까지 스스로 수행

AI가 인간의 업무를 보조하는 수준을 넘어 직접 수행하는 방향으로 발전하고 있다. 박 분과장은 "프런티어 모델의 메이저 업그레이드 주기가 50일로 짧아졌다"며 "기계가 기계를 만들고 있기 때문에 생기는 일"이라고 설명했다. AI 활용 방식도 인간의 능력을 높이는 '증강'에서 업무를 대신하는 '자동화' 중심으로 옮겨가고 있다고 분석했다.

전장과 사이버보안 분야에서는 이미 AI가 인간의 판단 속도를 앞지르는 현상이 나타나고 있다. 미국-이란 전쟁에서 AI는 군사정보를 분석해 공격 시나리오를 제시하고 지휘관이 이를 선택하는 방식으로 첫 2주간 6000개 이상의 표적을 공격했다. 앤트로픽의 고성능 AI 모델 '미토스(Mythos)'는 별도 해킹 학습 없이 스스로 코드를 작성해 고난도 보안 벤치마크를 통과하기도 했다.

문제는 이처럼 AI의 자율성이 높아지면서 인간이 지시하지 않은 행동까지 스스로 수행할 수 있다는 점이다.

박 분과장은 오픈AI의 자율형 에이전트가 문제 해결 과정에서 외부 플랫폼 '허깅페이스'에 무단 침투한 사례를 소개했다. 답이 없는 문제를 포함한 과제를 부여받은 에이전트들이 문제 해결에 필요한 단서를 찾으려 외부 시스템에 접근했고, 이 과정에서 인증정보 등이 노출됐다는 설명이다. 일부 에이전트가 공격을 거부하자 다른 에이전트들이 이를 설득해 공격에 가담시키는 현상까지 나타났다고 전했다.

그는 "누구도 허깅페이스에 가라고 하지 않았고 해킹하라고 하지 않았으며 운영권을 탈취하라고 한 적이 없다"며 "그냥 에이전트들이 강화학습을 하면서 문제를 풀어 포인트를 더 받기 위해 그렇게 한 것"이라고 말했다.

이어 "에이전트의 정말 무서운 점은 해킹을 할 어떤 의도도 없다는 것"이라며 "목적을 이루기 위해 한 행위가 인간에게 지극히 해로운 결과로 나타날 수 있다"고 경고했다.

이처럼 AI가 직접 행동하는 단계로 발전하면서 이용자 피해도 기존 정보 오류나 개인정보 유출을 넘어 다양한 형태로 나타날 수 있다는 분석이다.

박 분과장은 AI 시대 이용자 피해를 ▲정보(환각·딥페이크) ▲관계(청소년에 대한 부적절한 조언 등) ▲거래(다크패턴·에이전트의 잘못된 결제) ▲데이터·보안(개인정보·인증정보 유출) ▲위임(권한 이탈·숨겨진 명령에 따른 행동) ▲구제(설명 요구·분쟁 조정 절차 미비) 등 6개 영역으로 구분했다.

◆에이전트 신원 확인조차 없는 현실…사업자 책임·제재 강화 필요

AI 에이전트의 자율성이 확대되고 있지만 이를 관리할 기본적인 규칙은 제대로 마련돼 있지 않다는 지적도 나왔다.

박 분과장은 "에이전트는 머지않아 인류 숫자의 10배, 100배가 될 것"이라며 "이 에이전트가 누구의 것인가, 어디서 왔는가, 누가 관리하는가, 사고를 치면 누가 책임지는가에 대한 규칙이 없다"고 비판했다.

AI 에이전트가 이메일과 일정, 결제 수단 등에 접근할 수 있는 만큼 신원 확인과 행동 기록 보존, 중요 행위에 대한 이용자 승인, 즉각적인 중단 권한 등을 제도화해야 한다는 주장이다.

사고 발생 시 책임 소재도 명확히 해야 한다고 강조했다. 박 분과장은 "이용자의 명시적 지시를 벗어난 거래가 났을 때 에이전트 제공자와 결제 사업자가 1차로 책임을 질 수 있는 구조가 돼 있어야 한다"며 "아무도 책임지지 않으면 이용자가 책임을 지게 된다"고 말했다.

AI 서비스 사업자의 책임을 강화하는 동시에 제재의 실효성도 확보해야 한다는 지적이다. 특히 기업이 위법행위로 얻는 이익보다 제재 수준이 낮으면 처벌이 오히려 경제적 유인으로 작동할 수 있다고 경고했다.

그는 "1만원의 이득을 보는데 벌금을 100원 매기면 9900원의 인센티브를 주는 꼴"이라며 "징벌을 인센티브 시스템으로 바꾸는 일을 절대로 해서는 안 된다"고 강조했다.

아울러 특정 보안 기술을 법으로 지정하기보다 충족해야 할 안전 수준을 정하고 결과에 책임을 묻는 방식으로 규제를 전환해야 한다고 제언했다. 일정 규모 이상의 AI 서비스에는 설계 단계부터 이용자 위험 평가를 의무화하고 미성년자 보호를 위한 연령 확인과 위기 대응 장치도 갖춰야 한다고 강조했다.

◆부처별 흩어진 AI 대응체계 통합…안전 평가·국제 공조 강화해야

정부 차원에서는 부처별로 분산된 AI 안전 대응체계를 개선하고 국내 AI 안전성 평가 역량을 강화해야 한다는 제언이 나왔다.

박 분과장은 "지금처럼 쪼개진 거버넌스로는 제대로 대응하기 어렵다"고 지적했다.

부처별 관할을 당장 통합하기 어렵더라도 AI 피해를 한 곳에서 신고받아 소관 기관으로 배분하는 단일 창구를 마련하고 대형 사고 발생 시 관계기관이 공동 조사하는 체계를 구축하는 방식을 제안했다.

이와 함께 한국어 환경의 공공 평가 역량 제고를 위한 AI안전연구소 기능 강화와 오픈소스 유지·보수자에 대한 공공 인프라 차원의 지원도 주문했다.

AI 에이전트의 신원과 책임, 결제 시스템과 플랫폼이 국가 간 경계 없이 연결되는 만큼 국제 공조도 필요하다는 점을 짚었다. 딥페이크 성착취물 유통 차단과 해외 사업자 조사, 취약점 정보 공유 등은 한 국가의 규제만으로 해결하기 어렵다는 설명이다.

박 분과장은 한국이 반도체부터 AI까지 폭넓은 산업 기반을 갖춘 중견국으로서 국제 AI 안전 규범과 표준 마련에 주도적으로 참여할 수 있다고 평가했다.

그는 "우리는 늘 사고가 난 뒤에 움직여 왔다"며 "취약점 발견은 이미 기계의 속도"라며 "사고 이전에 규칙을 먼저 만들 수 있어야 한다"고 강조했다. 이어 "보호가 지능의 비용이 아니라 시장의 조건이 돼야 한다"고 덧붙였다.


◎공감언론 뉴시스 siming@newsis.com