"AI가 자살 조장하는 유해콘텐츠 탐지"…기술개발 성공

[서울=뉴시스] 류난영 기자 = 경희대병원은 백종우 정신건강의학과 교수팀과 박진영 성균관대 교수, 박성준 한국자살예방협회 박사, 조경현 뉴욕대 교수와 공동으로 인공지능(AI)을 활용한 '온라인 자살 유해 콘텐츠 조기 탐지 및 대응 기술'을 개발했다고 25일 밝혔다.

한국은 경제협력개발기구(OECD) 국가 중 자살률이 가장 높은 고위험 국가로 디지털 환경에서의 위험 관리 필요성이 꾸준히 제기됐다. 이를 대응하기 위해 현재 인력 중심의 모니터링이 이뤄지고 있으나 24시간 대응의 한계와 콘텐츠 노출에 따른 트라우마 등 문제가 있다.
 
연구팀은 이러한 문제를 해소하기 위해 SNS(소셜네트워크 서비스) 및 온라인 커뮤니티 게시물 4만3244건을 분석하고, 정신건강의학과 전문의와 심리학자가 직접 검토한 벤치마크 데이터를 구축해 AI 시스템을 개발했다.
 
해당 시스템은 자살 유도 및 고위험 콘텐츠를 위험도에 따라 ▲불법 ▲유해 ▲잠재적 유해 ▲무해 ▲비자살의 5단계로 자동 분류한다. 특히, 검열을 피하기 위해 사용되는 은어, 비유, 약어 등 우회 표현까지 정밀하게 탐지해 기존 비숙련 인력보다 높은 탐지 성능을 보였다.
 
정확도 및 성능 평가에서는 GPT-4 모델 적용 시 불법 콘텐츠 탐지 66.46%, 유해 콘텐츠 탐지 77.09%의 높은 성능을 기록하며 실제 적용 가능성을 보여줬다.
 
백종우 교수는 "개발된 AI 기반 자살 유해 콘텐츠 탐지 시스템은 안전한 디지털 환경을 조성하고, 고위험군 조기 발견에 유용할 것"이라며 "이를 통해 선제적이고 비용 효과적인 정책 대응을 실현하고, 국가 자살 예방 인프라 구축의 기반이 되기를 기대한다"고 말했다.

한편 이번 연구 결과는 의료 정보학 분야 권위지 '지미르 메디컬 인포매틱스(JMIR Medical Informatics) 2월호'에 게재됐다.


◎공감언론 뉴시스 [email protected]