서강대 연구팀, 이미지 생성 AI 화풍 모방 막는 기법 개발

[서울=뉴시스]이예인 인턴 기자 = 조성인 서강대 인공지능학과 교수 연구팀이 이미지 생성 인공지능(AI)이 원치 않는 화풍이나 대상을 만들지 않도록 막는 기법을 담은 논문이 세계 최고 권위 학회에 채택됐다.

3일 서강대에 따르면 박기연 석사과정생(제1저자)과 조 교수(교신저자)가 쓴 이 논문은 인공지능 분야 국제학회 '뉴립스 2026'(NeurIPS)에 포스터 발표로 채택됐다.

텍스트를 입력하면 이미지를 만들어 주는 확산 모델은 정제되지 않은 웹 데이터로 학습해 저작권이 있는 예술 작품이나 개인 이미지를 그대로 따라 할 위험이 있다.

이를 막는 개념 제거(Concept Erasure) 기법은 지울 대상을 텍스트로 지정하지만, 색감과 질감, 형태처럼 말로 설명하기 어려운 화풍은 충분히 표현하지 못했다.

설명이 길어지면 단어나 어순이 조금만 달라져도 AI가 해석하는 값이 크게 바뀌어 같은 화풍을 일관되게 억제하기도 어려웠다.

이미지를 만드는 모든 단계에 같은 강도로 억제를 적용하다 보니, 지울 개념이 강하게 드러나는 단계에서는 억제가 모자라고 거의 드러나지 않는 단계에서는 생성 경로를 불필요하게 바꿔 객체 형태와 배경 구조가 손상되는 문제도 있었다.

연구팀이 제안한 '콰이어트 프롬프트'(QuP)는 두 단계로 이뤄진다. 먼저 10장 미만의 참조 이미지로 지울 개념의 시각적 특성을 하나의 값(토큰 임베딩)에 담는다.

이 과정에서 확산 모델의 가중치를 고정해 모델을 다시 학습하거나 수정하지 않아도 된다.

이어 이 값을 이미지 생성 때 만들지 말아야 할 조건으로 활용하되, 단계마다 지울 개념이 얼마나 새어 나오는지(개념 누출)를 측정해 억제 강도를 조절한다.

지울 개념이 강하게 나타날 때만 억제를 강화하고 나머지 단계에서는 입력 문장에 따른 생성 경로를 보존해, 지우려는 개념만 효과적으로 제거한다.

QuP는 모델을 재학습하지 않아 다양한 기반 모델에서 작동한다. 화풍·객체·유해 콘텐츠 제거 실험에서는 기존 기법보다 정량·정성 평가 모두 우수한 성능을 달성했다.

뉴립스는 인공지능·기계학습 분야 최고 권위 학회로 꼽힌다. 올해는 호주 시드니(12월 6~12일)가 메인 개최지이며, 조 교수팀 논문은 12월 8일(현지시간) 포스터 세션에서 발표될 예정이다.


◎공감언론 뉴시스 yein020528