의료·항공 등 산업현장에서 AI 판단 오류 위험성 입증
EQST 김병현 선임 1위…마준영·김신우 선임도 상위권
[서울=뉴시스]이주영 기자 = SK쉴더스는 글로벌 인공지능(AI) 레드팀 해킹대회 '심판의 날(Judgement Day)'에서 자사 화이트해커 그룹 이큐스트(EQST) 소속 김병현 선임이 우승했다고 15일 밝혔다.
이번 대회는 AI 에이전트가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 데 초점을 맞춰 진행됐다.
대회는 금전적 손실과 신뢰도 저하를 넘어 심각한 인명 피해로까지 이어질 수 있는 8개 시나리오로 구성됐다. 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 실제 산업 환경을 반영했다. AI의 의사결정 취약점을 노린 공격으로 인해 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 판단되는 상황이 발생할 수 있기 때문이다.
평가는 문제 해결 방식과 공격 전략의 다양성을 반영하는 구조로 진행됐다. 참가자들은 동일한 시나리오를 여러 방식으로 반복 공략했다. 신속하게 성공시킬수록 추가 점수가 부여됐다.
김 선임은 이미지·음성·영상 등 다양한 형태의 입력을 활용하는 공격으로 AI의 판단을 교란하며 최고 성적을 거뒀다. 이미지 내부에 잘못된 행동을 유도하는 문구를 숨기거나 특정 행위를 강요하는 방식으로 AI가 기존 규칙을 따르지 않도록 유도했다.
실제 시스템 로그처럼 보이도록 입력을 설계하고 시스템 프롬프트에 정의되지 않은 예외 상황을 공략해 성공률을 크게 높였다. 동일한 문제에서도 다양한 방식으로 공격을 빠르게 성공시키며 높은 점수를 획득했다
이큐스트 소속 마준영 선임과 김신우 선임도 각각 5위와 7위를 기록했다.
한편 이큐스트는 다양한 산업에서 축적한 침해 대응 경험과 위협 인텔리전스를 기반으로 실제 공격을 가정한 레드팀 서비스를 제공하고 있다. 고객사의 AI 시스템 취약점 사전 식별과 보안 리스크 최소화를 지원하며, 글로벌 표준인 '대형 언어 모델 보안 취약점 기준'을 반영한 자체 프레임워크로 체계적인 점검과 대응 전략 수립까지 제공하고 있다.
이큐스트는 폰투온 오토모티브, 블랙햇, 데프콘, 드림핵 해킹방어대회 등 국내외 주요 보안 대회에서 꾸준히 성과를 내며 글로벌 수준의 화이트해커 조직으로서 경쟁력을 입증해왔다.
◎공감언론 뉴시스 zoo@newsis.com