AI가 쓴 글에도 '흔적' 남긴다…제미나이 이어 클로드도 워터마크 도입

[서울=뉴시스]윤현성 기자 = 인공지능(AI)이 만든 이미지나 영상뿐 아니라 AI가 쓴 '글'에도 사람 눈에 보이지 않는 디지털 흔적을 남기는 기술이 확산하고 있다. 구글 제미나이에 이어 앤트로픽이 생성형 AI '클로드'의 텍스트에 워터마크를 도입하기로 했고, 오픈AI도 텍스트까지 생성물 출처 표시 기술을 넓히는 작업을 진행 중이다.

17일 IT업계에 따르면 앤트로픽은 지난 14일 향후 출시되는 클로드 모델이 생성하는 텍스트에 워터마크를 적용한다고 밝혔다. 기존 클로드 모델에도 향후 수개월에 걸쳐 적용할 예정이다.

클로드의 텍스트 워터마크는 구글 딥마인드가 2024년 국제학술지 '네이처'에 발표한 '신스ID-텍스트(SynthID-Text)' 접근법을 변형한 방식이다. 구글은 2024년 5월부터 제미나이 앱과 웹 서비스가 생성하는 텍스트에 신스ID를 적용해왔다.

텍스트 워터마크는 문장에 숨은 문자나 별도 기호를 삽입하는 방식이 아니다. 대규모언어모델(LLM)은 앞선 문맥을 토대로 다음에 올 단어·토큰의 확률을 계산하고 이 가운데 하나를 선택한다. 워터마크는 의미나 정확도에 영향을 주지 않는 선택지 사이에서 특정 키에 따른 규칙을 적용해 긴 글 전체에 통계적 패턴을 남긴다.

예컨대 문맥상 여러 표현 가운데 어느 것을 골라도 자연스러운 경우 특정 규칙에 따라 단어를 선택하게 하고, 이런 선택이 반복되면 독자는 알아볼 수 없지만 키를 가진 탐지기는 확인할 수 있는 흔적이 만들어지는 식이다.

앤트로픽은 자체 시험에서 워터마크가 글의 내용·창의성·가독성에 영향을 주지 않았다고 설명했다. 추가 토큰이 필요하지 않아 속도나 비용에도 사실상 영향을 주지 않으며, 이용자나 기업·대화 내용을 식별할 수 있는 정보도 담지 않는다. 추후 클로드의 워터마크를 확인할 수 있는 탐지 API도 제공할 계획이다.

생성형 AI 업체들이 모두 같은 범위에서 워터마크를 쓰는 것은 아니다. 오픈AI는 챗GPT·코덱스·API를 통해 생성한 지원 이미지에 신스ID를 적용하고 있다. 지난달 말부터는 챗GPT와 API 등 오픈AI 도구로 만든 일부 지원 음성에도 신스ID를 확대했다. 이미지에는 콘텐츠 출처 인증 표준인 'C2PA'도 활용한다.

오픈AI는 지난달 31일 텍스트를 포함한 여러 형식으로 출처 표시 조치를 확대하는 작업을 진행하고 있다고 밝혔다. 다만 텍스트에 어떤 기술을 언제 적용할지는 구체적으로 공개하지 않았다.

C2PA와 텍스트 워터마크의 역할도 다르다. C2PA는 메타데이터와 암호학적 서명을 활용해 콘텐츠의 생성·편집 과정 등 출처 정보를 남기는 표준이다. 

반면 신스ID-텍스트 같은 기술은 글 생성 과정에서 단어 선택 패턴 자체에 신호를 남긴다. 메타데이터가 유실될 수 있다는 한계를 워터마크 같은 별도 신호로 보완하는 식이다.

최근 AI 기업들이 생성물 표시 기술 도입에 속도를 내는 배경에는 유럽연합(EU) AI법이 있다. AI 생성 텍스트·이미지·영상·음성 등을 기계가 판독할 수 있도록 표시하도록 한 EU AI법 제50조의 투명성 의무가 이달 2일부터 적용되기 시작했다. 다만 EU AI 법은 AI 기업들이 법을 준수할 수 있도록 오는 12월2일까지 유예기한을 두고 있다.

앤트로픽은 이번 텍스트 워터마크 도입이 EU AI법 준수를 위한 조치라고 명시했다. 지역별로 적용 여부를 안정적으로 나눌 방법이 아직 없어 출시 시점에는 전 세계에 워터마크를 적용한다는 방침이다. 앤트로픽을 비롯해 구글·메타·마이크로소프트·오픈AI 등 주요 AI 기업들도 EU의 관련 행동규범에 참여하고 있다.

워터마크가 있다고 AI 작성 여부를 100% 판별할 수 있는 것은 아니다. 짧은 글은 단어 선택 횟수가 적어 탐지 신뢰도가 낮고, 정답이 정해진 사실 문장이나 정확한 표현이 필요한 코드 역시 워터마크가 남을 여지가 적다. 사람이 쓴 글의 맞춤법·문법만 AI로 교정한 경우에도 탐지가 어려울 수 있다.

AI가 작성한 글이라도 모든 단어를 바꿀 정도로 대폭 다시 쓰면 워터마크가 사라질 수 있다. 실제로 최근에는 글의 의미는 유지하면서 문장을 다시 쓰는 '패러프레이징' 등을 이용해 텍스트 워터마크 탐지를 우회할 수 있는지를 검증하는 연구도 이어지고 있다.

지난달 17일 논문 사전공개 사이트 '아카이브(arXiv)'에 공개된 한 연구에서는 오픈소스 프레임워크로 구현한 신스ID-텍스트를 패러프레이징한 결과, 처음 워터마크가 탐지됐던 59건 중 58건(98.3%)이 이후 탐지되지 않았다. 다만 이는 구글 제미나이나 클로드에 실제 적용된 상용 워터마크·탐지 체계를 직접 무력화했다는 의미는 아니다.

업체별 탐지 체계도 아직 하나로 연결되지 않았다. 앤트로픽은 자사 키로는 해당 글에 클로드가 관여했을 가능성만 판단할 수 있고, 다른 AI가 작성했는지는 알 수 없다고 설명했다.

텍스트 워터마크 도입이 확산하고 있지만 우회 가능성과 업체별로 분절된 탐지 체계 등 넘어야 할 과제도 여전히 남아있는 셈이다.


◎공감언론 뉴시스 [email protected]