[서울=뉴시스]박정영 기자 = "사람이 24시간 지킬 수 없었던 온라인 공간을 이제는 시스템이 쉬지 않고 지키고 있습니다."

10일 서울 중구 한국여성인권진흥원에서 만난 중앙디지털성범죄피해자지원센터(중앙디성센터) 관계자는 인공지능(AI)을 활용한 아동·청소년 성착취물 탐지 시스템을 소개하며 이같이 말했다. 중앙디성센터는 AI를 활용해 온라인에 유포되는 성착취물을 찾아내고 삭제를 지원하고 있다.

중앙디성센터는 이날 한국여성인권진흥원에서 프레스투어를 열고 AI 기반 아동·청소년 온라인 성착취 탐지·신고 시스템의 작동 과정을 취재진에게 처음 공개했다.

시연에 앞서 취재진에게는 '개인정보 보호 서약서'가 배부됐다. 업무 중 알게 된 개인정보를 외부에 누설하거나 정당한 사유 없이 조회·유출하지 않겠다는 내용이었다. 실제 피해자 지원에 사용되는 시스템인 만큼 시연 장면의 사진과 영상 촬영도 제한됐다.

◆220개 키워드로 게시물 추적…AI가 위험도 판단
이날 공개된 AI 시스템 화면에는 '키워드 관리', '수집기 관리', '수집·탐지 현황', '삭제·신고 현황' 등의 메뉴가 나타났다.

'키워드 관리' 화면에는 직원들이 모니터링 과정에서 축적한 약 220개의 키워드가 등록돼 있었다. 새로운 은어나 신조어가 발견되면 추가할 수 있도록 구성됐다.

키워드들은 구글과 엑스(X·옛 트위터), 블루스카이, 텔레그램, 채팅앱 10종 등 총 14개 플랫폼에서 성착취 의심 게시물을 수집하는 데 활용된다. 시스템은 24시간 게시물을 수집해 담당자에게 자동으로 배분한다.

AI는 게시물의 텍스트와 이미지를 분석해 아동·청소년 성착취물 가능성을 판단한다. 화면에는 성착취물 확률과 아동·청소년 관련 확률, 기존 게시물과의 중복 여부가 각각 표시됐다. AI가 해당 게시물을 의심스럽다고 판단한 근거도 함께 제시됐다.

AI의 분석 결과가 성착취물이라는 확정 판단으로 이어지는 것은 아니다. 담당자가 게시물과 판단 근거를 직접 확인한 뒤 최종 신고 여부를 결정한다.

센터 관계자는 "기존에는 실무자가 SNS에서 성착취 관련 키워드를 검색하고 게시물을 한 건 한 건 육안으로 확인했다"며 "게시물이 확산되는 속도를 따라가기 어려웠고 업무시간 외 유포되는 게시물은 사실상 탐지할 방법이 없었다"고 말했다.

화면에 등장하는 이미지는 기본적으로 흐림 처리된다. 직원들이 성착취물에 반복적으로 노출되는 것을 막기 위해서다. 필요한 경우에는 흐림 처리를 해제해 원본을 확인할 수 있다.

신고 대상으로 판단된 게시물은 플랫폼별 신고 절차로 넘어간다. X는 이메일과 자체 신고 기능 등을 활용하고, 블루스카이는 자체 신고, 채팅앱은 이메일로 삭제를 요청한다. 시스템은 각 플랫폼에 맞는 신고 자료를 자동으로 정리한다.

김미순 중앙디성센터장은 "아동·청소년은 자신의 피해 사실을 알지 못하거나 피해를 알아도 두려움 때문에 도움을 요청하기 어려울 수 있다"며 "피해자의 신고를 기다리는 동안에도 피해물이 계속 유포될 수 있다는 점을 고려해야 한다"고 말했다.

이어 "피해자의 요청이 없어도 아동·청소년 성착취물을 선제적으로 찾아 삭제를 지원하고 있다"며 "피해 사실을 모르거나 스스로 도움을 요청하기 어려운 경우에도 먼저 발견하고 개입해 추가 유포와 피해를 최소화하겠다"고 강조했다.

실제 중앙디성센터의 지속 지원 피해자 비중은 2024년 36.9%에서 지난해 45.1%로 증가했다. 한 번 삭제한 촬영물도 복제되거나 다시 유포될 수 있는 만큼 센터는 삭제 이후에도 최소 3년간 재유포 여부를 모니터링하고 있다.

앞서 공개된 기존 삭제지원시스템에서는 피해자가 신고한 촬영물을 추적하는 과정도 확인할 수 있었다. 영상의 고유한 특징을 추출하는 'DNA 검색' 기술을 활용해 흑백 반전이나 자막 삽입 등으로 변형된 촬영물까지 찾아내는 방식이다.

현재 성인사이트 310곳에서 수집한 영상과 사진을 24시간 자동으로 대조하고 있으며, 유포된 촬영물이 발견되면 삭제를 요청하고 처리 결과를 확인한다.

◆지난해 삭제 요청 불응 9만건…85.1%가 '불법 유해사이트'

AI 도입 이후 처리 실적도 크게 늘었다.

성평등가족부에 따르면 지난해 수작업으로 삭제를 지원한 아동·청소년 성착취물은 4만5438건이었다. 반면 AI 시스템을 본격 운영한 올해 4월부터 9월까지 6개월간 삭제지원 건수는 9만6210건으로 집계됐다.

월평균 삭제지원 건수는 지난해 약 3787건에서 올해 4~9월 약 1만6035건으로 약 4.2배 늘었다. 종사자 1명이 하루 평균 처리한 삭제 요청 건수는 20.8건에서 202.1건으로 약 9.7배 증가했다.

기존 삭제지원시스템에서도 자동화 기술을 활용해 올해 4~9월 총 5만8309건의 URL에 대한 삭제 요청과 삭제 여부 확인이 이뤄졌다. 건당 삭제 요청 처리 시간은 1분 이내로 단축됐다.

문제는 삭제 요청에 응하지 않는 해외 불법사이트다. 지난해 삭제 요청에 불응한 약 9만건 가운데 85.1%가 불법 유해사이트에서 발생했다.

김성벽 성평등부 디지털성범죄방지과장은 "새로운 기술을 개발하면 이를 우회하는 기술도 계속 나온다"며 "최신 기술을 도입하는 동시에 관계 부처와의 제도 개선을 통해 끝까지 추적하고 삭제해 나가겠다"고 말했다.

정부는 내년까지 AI 탐지 대상 플랫폼을 확대하고, 대화의 흐름과 맥락까지 분석하는 기술을 개발할 계획이다. 현재 키워드와 이미지 중심의 탐지 방식에서 나아가 온라인 그루밍과 같은 성착취 유인 행위까지 찾아낸다는 구상이다.

센터 관계자는 "'예쁘다', '몇 살이야'라는 댓글은 단어만 보면 문제가 없어 보일 수 있지만, 신뢰를 쌓은 뒤 개인 연락을 유도하는 성착취의 시작일 수 있다"며 "대화의 흐름 전체를 읽어 유인 행위를 찾아내는 기술을 개발하고 있다"고 설명했다.

김 센터장은 "AI는 피해자를 더 빨리 발견하고 필요한 지원에 연결하는 데 도움을 준다"면서도 "피해자의 상황을 이해하고 필요한 개입을 판단하며 일상 회복을 함께하는 일은 사람이 책임져야 한다"고 강조했다.

이어 "삭제에 불응하는 사이트와 해외 서버, 불법적인 수익 구조에 대응하려면 기술의 발전과 함께 제도 개선과 국내외 협력이 필요하다"며 "기술을 피해자 보호에 적극 활용하고 관계기관 및 해외 사업자와의 협력을 강화해 나가겠다"고 밝혔다.


◎공감언론 뉴시스 us06037@newsis.com