UNIST 인공지능대학원 주경돈 교수팀은 사용자가 입력한 문장을 바탕으로 AI가 3D 복원공간 속 대상을 찾아내는 오픈어휘 기반 3D 공간인식 기술인 '라이트 스플랫'(Light Splat)을 개발했다고 8일 밝혔다.
로봇이나 AR 기술에서는 카메라로 들어온 2D 이미지를 위치·색·투명도 정보를 가진 작은 점 입자(가우시안)들이 모인 3D 공간으로 복원한다.
연구팀이 개발한 기술은 사용자가 입력한 자연어를 기반으로 3D 공간에서 대상을 찾아내는 오픈어휘 3D 공간인식 기술이다.
의자, 책상처럼 미리 정해진 범주의 물체만 찾는 방식과 달리 '흰색 소파'나 '라면 위 달걀'처럼 더 구체적인 대상을 찾을 수 있다.
이 기술은 기존 오픈어휘 3D 공간 인식 기술 대비 메모리 사용량을 64분의 1 수준으로 낮췄다.
또 3D 가우시안에 의미 정보를 연결해 자연어로 검색 가능한 상태로 만드는 시간도 약 5초로 줄였는데, 이는 기존 최신 기술보다 50~400배 빠른 속도다.
기존 기술이 3D 공간의 각 점 입자마다 긴 숫자 형태의 언어 특징값을 저장하는 것과 달리 라이트 스플랫은 각 점 입자에 2바이트짜리 짧은 인덱스만 붙인 덕분이다.
메모리 사용량과 검색 준비 시간을 줄였음에도 인식 성능은 기존 기술보다 뛰어났다.
LERF-OVS와 DL3DV-OVS 데이터셋을 각각 이용한 실험에서 라면 위에 올라간 달걀처럼 작은 대상부터 멀리 있는 자동차, 사무실 가구처럼 크기와 배치가 다른 물체까지 또렷하게 구분해 냈다.
제1저자인 방재훈 연구원은 "오픈어휘 3D 사물 인식 기술을 실제로 쓰려면 정확도뿐 아니라 속도와 메모리 효율을 함께 확보해야 한다는 점에서 이번 연구는 의미있는 성과"라고 설명했다.
주경돈 교수는 "사람의 말로 지시를 바로 수행할 수 있는 인간-기계 상호작용이 강화된 로봇 개발, 텍스트로 대상을 바로 지정해 편집을 돕는 AR·VR 콘텐츠 제작, 디지털 트윈 기술 등에 적용 가능할 것"이라고 기대했다.
◎공감언론 뉴시스 yohan@newsis.com