지방선거 딥페이크 올리자 'Fake'…97% 정확도로 잡는다(종합)

[서울=뉴시스] 강지은 기자 = 정부가 6·3 지방선거를 겨냥한 딥페이크(인공지능 합성기술) 영상·음성 조작 범죄에 강력 대응하기 위해 최첨단 인공지능(AI) 탐지 기술을 현장에 본격적으로 활용한다.

행정안전부는 국립과학수사연구원과 함께 개발한 'AI 딥페이크 탐지 모델'을 오는 6월 치러지는 제9회 전국동시지방선거에 적용할 계획이라고 10일 밝혔다.

이번 조치는 최근 특정인의 얼굴이나 음성을 정교하게 합성한 딥페이크 범죄가 급증함에 따라 선거 과정에서 후보자의 모습이나 발언을 조작한 허위 정보가 유권자의 판단을 왜곡하는 것을 방지하기 위해 마련됐다.

중앙선거관리위원회가 발표한 통계에 따르면 선거 기간 딥페이크 영상 삭제 요청은 2024년 제22대 총선 당시 388건에서 지난해 제21대 대선 당시 1만510건으로 크게 늘었다.

윤호중 장관은 "딥페이크는 단순한 기술 문제가 아니다. 이는 민주주의를 흔들 수 있는 새로운 정보 범죄"라며 "지방선거를 앞두고 AI를 악용한 허위정보 확산에 범정부 차원의 대응이 필요한 시점"이라고 밝혔다.

이번에 도입되는 탐지 모델은 지난해 12월 열린 '딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회' 성과를 바탕으로 만들어졌다.

당시 대회에는 총 268개 팀이 참여했으며 행안부와 국과수는 최종 선정된 5개 우수 모델을 선관위에 제공하고, 선거 기간 동안 의심되는 콘텐츠를 신속하게 감정하는 지원 체계를 운영할 방침이다.

특히 이번 모델은 영상의 전체적인 흐름을 분석하는 '전역 분석'과 얼굴 등 특정 부위의 조작 흔적을 정밀하게 판별하는 '국소 분석'을 동시에 진행해 탐지의 정확도를 높였다.

모델은 최신 생성형 AI 기반 콘텐츠에도 대응할 수 있도록 설계됐으며, 실제 검증 결과 기존 모델의 76%에서 92% 수준으로 높은 탐지 정확도를 기록했다고 국과수는 밝혔다.

박남인 국과수 연구관은 "기존에는 얼굴 영역이 아닌 경우 저희가 탐지를 전혀 하지 못했는데, 새로 만든 개발 모델은 얼굴이 아닌 영역에서도 충분히 탐지가 가능해지는 등 97%까지 성능이 향상됐다"고 말했다.

이날 국과수는 정부서울청사에서 AI 딥페이크 분석 모델 시연회를 진행하기도 했다.

국과수 전용 서버에 AI로 생성된 선거 영상 등을 업로드하자 점수와 함께 가짜라는 딥페이크 분석 결과가 나왔다. 0에 가까울수록 '실제'(real), 100에 가까울수록 '가짜'(fake)를 의미하게 된다.

박 연구관은 "정상적인 영상과 가짜 영상의 픽셀 분석과 주파수 특징을 비교해 분석하게 된다"며 "한 콘텐츠에 리얼과 페이크가 동시에 있다면 비중에 따라 달라질 수 있다. 페이크 비중이 높으면 페이크일 확률이 높아지게 된다"고 했다.

유권자 등 일반 시민이 딥페이크 영상을 발견하게 되면 선관위에 신고하면 된다.

조봉기 선관위 조사국장은 "저희가 400여명의 모니터링 요원도 운영하고 있다"며 "딥페이크 확산을 막기 위해 발견하는 즉시 플랫폼이나 당사자에게 삭제 요청을 하고 있다"고 말했다.

선거일 전 90일부터 선거운동 목적의 딥페이크 영상을 제작·유포하게 되면 공직선거법에 따라 7년 이하의 징역 또는 1000만원 이상~5000만원 이하의 벌금형에 처하게 된다.

행안부와 국과수는 앞으로 AI 딥페이크 분석 모델의 활용 범위를 단계적으로 확대할 계획이다. 성평등가족부, 방송통신위원회, 경찰청 등 관계 부처와도 긴밀히 협력해 범정부 차원의 촘촘한 디지털 범죄 대응 체계를 구축할 예정이다.

윤 장관은 "정부는 국민의 소중한 권리가 침해받지 않도록 선거 과정에서 허위·조작 정보에 대한 대응 역량을 꾸준히 높이겠다"며 "이번 기술을 각종 디지털 범죄 수사에도 더욱 적극적으로 활용하겠다"고 말했다.

◎공감언론 뉴시스 [email protected]