[서울=뉴시스]윤현성 기자 = 틱톡이 생성형 인공지능(AI) 기술로 정치·금융·의료 등 민감한 분야의 저품질 콘텐츠를 대량으로 찍어내는 이른바 'AI 스팸 계정'을 집중 단속한다. 창작 도구로 AI를 쓰는 것은 권장하되, 인간의 개입 없이 기계적으로 콘텐츠를 양산해 사회적 신뢰를 흔드는 유령 계정은 뿌리 뽑겠다는 방침이다.

틱톡은 14일 아시아태평양 지역 온라인 브리핑을 열고 AI 생성 콘텐츠의 투명성을 높이고 이용자의 AI 식별 능력을 강화하는 새로운 정책을 공개했다.

톰 C. 바르게세 틱톡 글로벌 공공정책팀 AI 리드는 "창작자가 AI로 독창적인 아이디어를 구현하는 것과 저가치 가짜 콘텐츠로 플랫폼을 도배하는 행위는 분명히 구분해야 한다"며 "AI 창작을 막는 것이 아니라 AI를 악용한 스팸 행위를 차단하는 데 집중하겠다"고 강조했다.

◆"창작은 장려, 조작은 차단"…단속 기준은 계정 운영 방식

틱톡이 규정한 AI 스팸은 생성형 AI를 이용해 사람의 실질적인 개입 없이 콘텐츠를 조직적으로 대량 생산하는 행위다. 이들은 추천 알고리즘의 허점을 노려 이용자들의 화면을 독점해 왔다.

틱톡은 향후 몇 주 안에 개선된 탐지 시스템을 적용한다. 정치와 선거, 금융 조언, 의료 정보 등 공공 안전에 영향을 줄 수 있는 분야가 집중 관리 대상이다. 역사적 참사와 관련된 콘텐츠도 주요 감시 목록에 포함됐다.

단속은 특정 인물이나 연령층을 겨냥했는지가 아니라 '계정의 운영 방식'을 기준으로 삼는다. AI를 이용해 유사한 콘텐츠를 반복적으로 만들거나 실제 이용자의 목소리를 밀어내는 조직적 행위를 찾아내 제재한다. 틱톡은 올해 1분기에만 전체 허위 계정 8600만개 이상을 삭제했다. 다만 이는 AI 스팸 계정만을 집계한 수치가 아니라 틱톡이 제거한 전체 허위 계정 규모다.

AI를 활용했다는 이유만으로 콘텐츠를 무조건 삭제하지는 않는다. 역사적 사건을 시각적으로 재현하거나 복잡한 개념을 쉽게 설명하는 등 교육과 창작 목적의 AI 활용은 오히려 장려한다.

반면 실제와 혼동할 가능성이 있는 AI 콘텐츠에는 예외 없이 표지판(라벨)을 붙여야 한다. 유머나 패러디 영상이라도 실제 인물이나 상황으로 오인할 수 있다면 표시 의무가 적용된다. 창작자가 라벨을 붙이지 않더라도 틱톡의 자동 탐지 시스템이 이를 식별해 강제로 추가한다.

허위 정보나 사칭, 음란물 등 커뮤니티 가이드라인을 위반한 콘텐츠는 AI 제작 여부와 관계없이 즉각 삭제된다. 가이드라인을 직접 위반하지 않았더라도 다수의 이용자에게 부적절하다고 판단되면 추천 피드에서 제외된다.

◆진짜 같은 AI 영상엔 예외 없이 '라벨' 의무화

틱톡은 현재까지 30억건 이상의 영상에 AI 생성 라벨을 적용했다고 밝혔다. 크리에이터가 직접 붙이는 라벨과 자동 탐지 기술, 보이지 않는 워터마킹, 콘텐츠의 출처와 편집 이력을 담는 C2PA 콘텐츠 인증을 함께 활용한다.

보이지 않는 워터마킹은 틱톡의 AI 도구로 제작된 이미지나 영상에 암호화된 픽셀 정보를 삽입하는 기술이다. 육안으로 확인하기 어렵고 임의 삭제나 위조도 까다로워 콘텐츠가 틱톡 밖으로 이동하거나 다른 플랫폼에 재게시돼도 AI 생성 여부를 추적할 수 있다.

틱톡은 2024년 영상 플랫폼 최초로 C2PA 기술을 도입한 데 이어 C2PA 운영위원회에도 공식 합류한다. 콘텐츠가 한 플랫폼에서 만들어진 뒤 다른 곳에서 편집·재유통되는 만큼 개별 플랫폼의 라벨만으로는 한계가 있다고 보고 업계 공통 표준의 확산을 주도한다는 방침이다.

이용자가 AI 콘텐츠를 스스로 구별하고 판단할 수 있도록 교육 지원도 확대한다. 틱톡은 미국 미디어교육전국연합회와 생성형 AI 전문가 헨리 에이더 등과 함께 AI 도구와 생성 콘텐츠를 안전하고 책임감 있게 활용하는 방법을 담은 안전센터 가이드를 마련했다.

앱 안에서 AI 관련 용어를 검색하면 생성 콘텐츠 식별법과 책임 있는 활용법을 배울 수 있는 'AI 리터러시 허브'도 선보인다. 일부 시장에서 먼저 운영한 뒤 8월부터 글로벌 시장에 순차적으로 확대한다.

전문기관의 AI 교육 콘텐츠 제작을 지원하는 AI 리터러시 펀드는 기존 200만달러에서 400만달러로 두 배 늘렸다. 해당 프로그램을 통해 제작된 콘텐츠의 누적 조회수는 2억회를 넘어섰다.

이용자가 추천 피드에 나타나는 AI 생성 콘텐츠의 양을 직접 조절하는 '주제 관리' 기능도 시험 운영하고 있다.

바르게세 리드는 "이용자가 AI를 경험하는 과정에서 충분한 맥락을 파악하고 안심하며, 자신의 경험을 직접 관리할 수 있어야 한다"며 "AI 생성 콘텐츠를 구분하고 제작 과정을 이해할 수 있도록 기술과 파트너십, 교육 자원에 지속적으로 투자하겠다"고 말했다.


◎공감언론 뉴시스 hsyhs@newsis.com