영화 속 인물도 끝까지 추적… UNIST, 3D 복원 AI 개발

[울산=뉴시스] 구미현 기자 = 영화나 스포츠 중계처럼 화면이 자주 바뀌는 영상에서도 여러 인물의 움직임을 일관되게 추적해 3차원으로 복원하는 인공지능(AI) 기술이 개발됐다. 스포츠 판정 분석부터 영화·게임 속 가상 캐릭터 제작까지 다양한 분야에 활용될 전망이다.

울산과학기술원(UNIST) 인공지능대학원 백승렬 교수팀은 영상 속 여러 사람의 신체 형태와 움직임을 일관되게 추적해 복원 오류를 줄이는 AI 기술 '멀티썸즈(Multi-THuMBS)'를 개발했다고 15일 밝혔다.

3차원 인체 복원은 영상 속 인물의 체형과 자세·위치 등을 분석해 입체적인 신체 모형과 움직임을 구현하는 기술이다. 멀티썸즈는 여러 카메라의 원본 영상이나 촬영 정보를 확보하지 않아도 일반 영상만으로 인물의 3차원 움직임을 복원할 수 있다.

특히 카메라 촬영 각도가 바뀌거나 화면이 확대되는 등 장면이 전환돼도 같은 인물을 안정적으로 추적하는 것이 특징이다. 기존 기술은 정면으로 보이던 인물이 옆모습으로 바뀌면 다른 사람으로 인식하거나 화면 속 위치 변화를 실제 이동으로 오인하는 문제가 있었다.

연구팀은 이런 오류를 줄이기 위해 장면 전환 전후의 영상에서 공통된 3차원 공간을 구축하는 기술을 적용했다. 배경과 카메라 위치를 같은 좌표계로 복원한 뒤 각 장면의 인체 모형을 배치하고 인물 간 거리와 옷차림·자세 등을 비교해 동일 인물을 연결하는 방식이다. 이를 통해 영상 구간 전체에서 인물의 위치와 움직임을 일관되게 복원할 수 있다.

여러 대의 카메라로 촬영한 인체 동작 테스트 영상에 장면 전환 편집을 적용한 결과 멀티썸즈는 비교 기술보다 관절 위치 오차가 낮았다. 기존 기술인 GVHMR과 비교해 영상 전체의 관절 위치 오차를 약 31% 줄였으며 같은 사람을 다른 인물로 잘못 인식하는 신원 전환 오류도 약 62% 감소했다. 인물의 3차원 위치를 복원하는 데 필요한 카메라 위치 추정 오차 역시 절반으로 줄었다.

영화 장면 데이터와 시트콤 '프렌즈'·'빅뱅이론' 영상에서도 성능을 확인했다. 장면 전환 전후 인물의 관절 위치가 일치하는 비율은 90.7%로 비교 기술의 62.7%보다 높았다. 움직임이 떨리는 현상은 약 5분의 1 수준으로 줄었고 발이 바닥에서 미끄러지는 현상도 절반 이하로 감소했다.

제1저자인 온정완 연구원은 "현재는 장면이 바뀌어도 같은 장소를 비추는 영상에 적용할 수 있다"며 "전혀 다른 장소로 전환되는 영상에서도 같은 인물을 계속 추적하는 기술을 후속 연구로 개발할 계획"이라고 말했다.

백승렬 교수는 "기존 3D 인체 복원 기술은 장면이 바뀌는 순간 사람을 놓치는 경우가 있었다"며 "이번 기술은 영화·방송·스포츠 중계 등 편집 영상에서도 여러 사람의 움직임을 3차원으로 이어서 복원할 수 있어 스포츠 분석과 가상·증강현실(VR·AR) 콘텐츠 및 디지털 휴먼 제작 등에 활용될 것으로 기대한다"고 밝혔다.

이번 연구에는 UNIST 연구진과 영국 버밍엄대학교 장형진 교수 및 CJ주식회사 AI·DT 부문 연구진이 참여했다. 연구 결과는 지난 9월 스웨덴 말뫼에서 열린 컴퓨터 비전 분야 국제학술대회인 '유럽컴퓨터비전학회(ECCV 2026)'에서 발표됐다.


◎공감언론 뉴시스 [email protected]