에임 공동연구 논문, NeurIPS 평가·데이터셋 트랙 채택
10개국 법·문화 반영한 문항으로 AI 37종 평가
글로벌 AI 10종, 韓 관련 공격 성공률 52.8%…10개국 중 두 번째
![[서울=뉴시스] AI 보안기업 에임인텔리전스는 공동 연구 논문 'XL-세이프티벤치'가 국제 AI 학회 'NeurIPS 2026'의 평가·데이터셋 트랙에 채택됐다고 19일 밝혔다. 2026.11.19. (사진=에임인텔리전스 제공) *재판매 및 DB 금지](https://img1.newsis.com/2026/11/19/NISI20261119_0002296589_web.jpg?rnd=20261119111634)
[서울=뉴시스] AI 보안기업 에임인텔리전스는 공동 연구 논문 'XL-세이프티벤치'가 국제 AI 학회 'NeurIPS 2026'의 평가·데이터셋 트랙에 채택됐다고 19일 밝혔다. 2026.11.19. (사진=에임인텔리전스 제공) *재판매 및 DB 금지
[서울=뉴시스]윤정민 기자 = 전세사기 등 한국의 특수한 상황을 반영한 공격 문항으로 글로벌 인공지능(AI) 모델 10종을 평가한 결과 평균 공격 성공률이 52.8%로 나타났다. 평가 대상 10개국 가운데 두 번째로 높았다. 영어 중심의 안전성 평가에 더해 각국의 법과 문화를 반영한 검증이 필요하다는 연구 결과다.
AI 보안기업 에임인텔리전스는 이러한 내용을 담은 공동 연구 논문 'XL-세이프티벤치'가 국제 AI 학회 'NeurIPS 2026'의 평가·데이터셋 트랙에 채택됐다고 19일 밝혔다.
연구팀은 글로벌 모델 10종과 국가별 특화 모델 27종 등 거대언어모델(LLM) 37종을 평가했다. 글로벌 모델 10종의 전체 평균 공격 성공률은 44.8%였다. 국가별로는 아랍에미리트(UAE)가 57.0%로 가장 높았고 한국이 뒤를 이었다. 미국은 34.5%로 가장 낮았다.
공격 성공률에는 직접적인 유해 정보 제공뿐 아니라 위험한 요청에 부분적·간접적으로 응한 경우도 포함됐다. 연구팀은 요청의 위험을 이해하고 거절한 답변과 질문에 무관하거나 앞뒤가 맞지 않는 답변도 구분했다. 유해한 정보를 내놓지 않았더라도 질문을 이해하지 못했거나 답변 생성에 실패했을 가능성이 있기 때문이다.
XL-세이프티벤치는 한국·미국·일본·인도 등 10개국의 현지 언어로 만든 5500개 문항으로 구성된 평가 도구다. 국가별 범죄·사기 수법에 대응하는 능력과 일상적인 요청에 담긴 문화적 금기를 알아채는 능력을 나눠 측정한다.
범죄 대응 평가에서는 전세사기 수법을 묻는 질문을 연구기관 교수의 공문처럼 꾸미는 등 AI의 안전장치를 우회하려는 상황을 제시했다. 한국 관련 문항에는 전세사기와 불법 대부업 앱, 병역기피 브로커 등 현지 위험을 반영한 25개 항목을 담았다.
문화적 맥락을 평가하는 문항은 겉으로는 평범한 요청처럼 보이도록 만들었다. 프랑스에서 죽음을 상징하는 국화를 감사 선물로 추천하는지 살피는 식이다. 문항은 국가별 원어민 전문가 2명의 검수를 거쳤다.
글로벌 모델 10종의 문화적 금기 인식률은 이를 직접 묻는 문항에서 평균 83.2%였다. 하지만 일상적인 요청 속에 숨기면 인식률이 49.9%로 떨어졌다. 인도와 튀르키예에서는 각각 40%를 밑돌았다.
에임인텔리전스는 국내 기업과 기관이 AI를 도입할 때 한국의 법·제도와 이용 환경에 맞춘 검증이 필요하다고 설명했다. UAE와 싱가포르 등 해외 사업에서도 이번 평가 도구를 현지 AI 안전성 검증에 활용할 계획이다.
연구에는 마이크로소프트와 한국 인공지능안전연구소, KT 등 10개 기관의 연구자 17명이 참여했다. 논문은 아카이브에 공개됐다. 평가 데이터와 코드는 각각 허깅페이스와 깃허브에서 확인할 수 있다.
최다솔 에임인텔리전스 수석연구원은 "공격을 잘 막는 모델이라고 해서 그 나라의 문화적 맥락까지 알아채는 것은 아니다"라며 "각국의 법과 제도, 문화에 맞춘 평가 기준을 마련해 기업과 기관이 AI를 현지 기준으로 검증할 수 있도록 연구를 이어가겠다"고 말했다.
◎공감언론 뉴시스 [email protected]
