'우리 AI가 달라졌어요'…가상인간 시대, 딥페이크 우려는 숙제

[서울=뉴시스] 오동현 기자 =

"단지 신기함으로 관심을 끌던 버추얼휴먼의 시대는 끝났다."

윤준호 포바이포 대표가 '대역 모델 없이 실제 사람같이 움직이며 대화까지 가능한 가상인간(버추얼휴먼)을 만들겠다'며 강조한 말이다.

비주얼 테크 솔루션 기업 포바이포(4by4)가 롯데홈쇼핑과 픽셀 인공지능(AI)기반 버추얼휴먼 실감화 프로젝트를 위한 계약을 체결했다고 6일 밝혔다.

이번 계약은 포바이포가 지난 2021년부터 롯데홈쇼핑과 함께 제작, 운영해온 버추얼휴먼 '루시(Lucy)'를 더욱 정교하고 자연스럽게 진화시키기 위한 계획의 일환이다.

이번 프로젝트의 최종 목표는 챗GPT 기반의 대화형 엔진을 장착하고 인간과 자연스러운 대화를 나눌 수 있는 '대화형 버추얼휴먼'이다. 포바이포는 루시가 이 단계까지 고도화되면 '스스로 생성하고 스스로 대화하는' 진정한 의미의 버추얼휴먼을 만나 볼 수 있을 것이라고 설명했다.

루시는 현재 수만장의 데이터를 딥러닝 AI로 학습, 이를 컴퓨터 그래픽으로 정교하게 합성하는 방식으로 구현되고 있다. 지속적으로 팬들과 소통하며 실시간으로 라이브 커머스 방송을 진행하는 등 최근 가장 왕성하게 활동하고 있는 버추얼휴먼 중 한 명이다.

이번 계약은 '100% 자동화된 루시' 만들기의 첫 번째 단계로 루시의 자연스러운 목소리, 말과 어울리는 얼굴 표정 합성 및 변환 솔루션 개발을 골자로 하고 있다.

버추얼휴먼이 목소리를 표현하는 순간 가장 어색함을 느낄 수 있는 '입 모양 싱크(Sync)'와 '단어에 어울리지 않는 얼굴 표정' 등을 기존 보유하고 있는 영상 고도화 AI를 활용해 더욱 정교하게 표현할 수 있을 것으로 기대하고 있다.

루시의 목소리 솔루션 개발이 완료되면 ▲글자를 입력해 말하게 하는 방식 ▲실시간으로 들리는 말소리를 루시 목소리로 바꾸는 방식 등이 모두 가능해진다. 이는 어떤 상황에서도 루시의 음성 정체성을 일정하게 유지할 수 있게 될 뿐만 아니라 대역 모델 변경 리스크 등으로부터 자유로워질 수 있게 된다.

이번 프로젝트는 조만간 대역 모델 없이 '몸의 움직임'을 구현하는 단계로까지 확장될 예정이다. 루시의 수많은 움직임을 모션 캡처 방식으로 미리 촬영해두고 이 움직임을 AI가 학습하게 하면 어떤 상황이든 그에 어울리는 동작을 취할 수 있도록 프로그램화할 수 있다.

윤준호 대표는 "산업 내에서 그 가치를 증명하기 위해서는 각각의 버추얼휴먼이 만들어내는 독창적인 콘텐츠가 있어야 한다"며 "루시는 실시간 방송과 쌍방향 소통, 라이브 커머스 등에 특화된 버추얼휴먼인 만큼 많은 콘텐츠를 빠르고 다양하게 제작할 수 있는 방식, 즉 완전 자동화를 통해 앞으로 더욱 활용도를 넓혀갈 수 있을 것”이라고 강조했다.

또 "포바이포가 자체 개발한 화질 고도화 AI 솔루션 픽셀을 적용해 버추얼휴먼 콘텐츠의 화질까지 극대화 시킨다면 루시에 대한 시청자의 몰입감을 한층 더 높여 나갈 수 있을 것"이라고 설명했다.

AI의 기술과 함께 나날이 발전하는 버추얼휴먼은 실제 사람과 분간이 어려울 정도로 정교해지고 있다. 이제는 버추얼휴먼에 대한 '신기함'을 넘어 대중에 가깝게 다가가고 있다. 단순 광고모델 뿐만 아니라, 음악방송과 뮤직비디오에 출연해 노래와 춤을 추기도 한다. 나아가 앵커, 선생님, 안내원 등으로 활동 영역을 넓혀가고 있다.  

지난 5일에는 국방부가 AI 딥페이크 기술을 통해 가상인간으로 복원한 고(故) 박인철 소령의 모습을 국방TV '그날 군대 이야기-고 박인철 소령을 만나다' 편에서 공개했다. 국방부에서 AI를 활용해 순직한 장병을 복원한 첫 사례다. 얼굴과 표정, 입 모양까지 생전 모습과 똑같은 20대 청년 박인철씨가 가상인간으로 돌아와 모친과 10여분 동안 16년간 못다한 이야기를 나눴다.

이 외에도 드라마 전원일기에서 '응삼이'로 유명한 배우 고 박윤배씨의 가상인간을 제작해 살아 돌아온 듯한 감동을 선사했다. 또 38살의 젊은 나이에 세상을 떠난 가수 거북이의 멤버 터틀맨, 울라라 세션의 임윤택씨가 가상인간으로 나와 무대에서 열창하는 모습까지 구현할 정도로 기술은 발전하고 있다.

연예인을 본뜬 버추얼휴먼도 등장했다. 바이텍씨엔티는 배우 한예슬의 버추얼휴먼 '예슬이(예슬E)'를 제작하고 공개했다. 버추얼휴먼 '예슬이'는 강의, 음반, 광고, 캐릭터 사업, 메타버스 관련 콘텐츠 등 다방면에서 활동할 계획이다.

한편에선 이런 AI와 가상인간의 발전을 우려 섞인 시선으로 바라보는 이들도 있다. 최근엔 실제 사람의 외모를 허락 없이 본떠 가상인간을 제작하는 초상권 침해 논란이 불거졌다.

한국관광공사는 8억원을 들여 버추얼휴먼 '여리지'를 제작하고 명예홍보대사로 활용했는데, 초상권 침해 논란에 휩싸인 바 있다. 여리지가 여자 아이돌 그룹 레드벨벳의 멤버 아이린을 닮았다는 의혹이 제기됐기 때문이다. 이와 함께 지난해 국정감사에선 "비현실적 외모지상주의를 부추기는 것 아니냐"는 지적까지 받았다.

초상권 침해 논란과 더불어, 딥페이크 기술을 악용해 타인을 사칭하는 등 AI의 역기능을 우려하는 목소리도 커지고 있다. 딥페이크는 AI 기술인 딥러닝과 '가짜'를 의미하는 단어인 페이크의 합성어다. 악용된 사례로는 신분사칭, 생체인증 우회, 사기, 명예훼손 뿐만 아니라 사회 혼란을 야기하는 가짜뉴스 등 다양하다.

원유재 한국정보보호학회장(충남대 교수)은 지난 5일 '제1회 뉴시스 IT포럼'에서 딥페이크의 고도화·확산을 경계해야 한다고 강조했다. 그는 "AI를 이용해 허위정보를 만들어 내는 것들이 어떻게 사회에 영향을 미칠지 아무도 모른다"면서 "최근엔 몇 마디 말로 콘텐츠로 만들어주는 기술도 등장했는데, 이것은 사람이 만들었는지 AI가 만들었는지 구분조차 안되는 수준"이라고 말했다.

이어 원 학회장은 'AI 공격방어 기법 연구 동향'을 공유하며 "AI 활용에 대해선 적극적인 투자가 이뤄지고 있는 반면, 역기능에 대한 대응방안에 대한 고민과 투자는 초기 단계"라고 지적했다.


◎공감언론 뉴시스 [email protected]