공간·기능 관계 파악 향상…이동형 로봇 '스트레치3'에 적용
![[전남광주=뉴시스] OP3DSG 기술로 구축한 '통합 3DSG'의 실제 로봇 활용. 이동형 로봇 ‘Stretch 3’가 실내를 탐색하며 구축한 ‘통합 3DSG’를 활용해 주변 환경에 관한 질문에 답하고, 사람의 지시를 구체적인 작업 순서로 나눠 계획한다. 또한 물체 이름을 직접 말하지 않고 필요한 기능이나 상황을 설명해도 관련 물체를 찾아 그 위치를 이동 목표로 정할 수 있다. (그래픽=GIST 제공) photo@newsis.com *재판매 및 DB 금지](https://img1.newsis.com/2026/09/17/NISI20260917_0002242249_web.jpg?rnd=20260917143529)
[전남광주=뉴시스] OP3DSG 기술로 구축한 '통합 3DSG'의 실제 로봇 활용. 이동형 로봇 ‘Stretch 3’가 실내를 탐색하며 구축한 ‘통합 3DSG’를 활용해 주변 환경에 관한 질문에 답하고, 사람의 지시를 구체적인 작업 순서로 나눠 계획한다. 또한 물체 이름을 직접 말하지 않고 필요한 기능이나 상황을 설명해도 관련 물체를 찾아 그 위치를 이동 목표로 정할 수 있다. (그래픽=GIST 제공) [email protected] *재판매 및 DB 금지
[전남광주=뉴시스]이창우 기자 = 사람에게는 당연한 손잡이와 버튼의 위치와 기능을 인공지능(AI)이 이해하고 실제 로봇 행동으로 연결하는 기술이 개발됐다.
로봇이 물체의 이름이나 위치만 파악하는 데 그치지 않고 세부 부품이 어떤 역할을 하고 어떤 행동에 활용되는지까지 이해할 수 있도록 한 것이 핵심이다.
17일 광주과학기술원(GIST)에 따르면 인공지능(AI)학과 김의환 교수 연구팀은 물체와 부품의 위치뿐 아니라 기능과 가능한 행동까지 연결하는 '통합 3차원 장면 그래프(Unified 3DSG)'와 이를 카메라 영상에서 자동으로 구축하는 AI 기술 'OP3DSG'를 개발했다.
기존 3차원 장면 그래프가 의자나 전자레인지 같은 물체 단위의 정보에 집중했다면 OP3DSG는 손잡이·버튼 등 작은 부품까지 찾아 여러 각도의 영상에서 같은 부품을 연결하고 공간적·기능적 관계를 함께 표현한다.
연구팀은 새 평가체계 '유니그래프3D(UniGraph3D)'를 활용해 성능을 검증한 결과 상위 3개 후보안에 정답 부품이 포함되는 비율이 83.6%로 나타났다.
![[전남광주=뉴시스] (왼쪽부터) GIST AI학과 김의환 교수, 김이룸 석·박사통합과정생 *재판매 및 DB 금지](https://img1.newsis.com/2026/09/17/NISI20260917_0002242226_web.jpg?rnd=20260917142824)
[전남광주=뉴시스] (왼쪽부터) GIST AI학과 김의환 교수, 김이룸 석·박사통합과정생 *재판매 및 DB 금지
이는 기존 비교 방법의 최고 성능인 52.4%보다 31.2%포인트(p)높았으며 물체와 부품의 공간적 관계 파악은 7.9%p, 기능적 관계 파악은 9.2%p 향상됐다.
연구팀은 이동형 로봇 '스트레치 3'에 기술을 적용해 의자 개수를 파악하거나 TV를 켜기 위한 리모컨을 찾아 이동하고, 빨래를 정리해 달라는 지시에 수건을 찾아 바구니에 넣는 작업도 구현했다.
김의환 교수는 "로봇이 무엇이 어디에 있는지뿐 아니라 어떤 부품을 사용할 수 있고 어떻게 사용할 수 있는지까지 이해하는 데 필요한 정보를 하나로 연결한 것이 핵심"이라며 "서비스 로봇이 복잡한 실제 환경을 이해하고 사람의 자연어 지시를 구체적인 작업으로 연결하는 기반 기술로 활용될 수 있을 것으로 기대한다"고 말했다.
이번 연구 결과는 지난 8일부터 12일까지 스웨덴 말뫼에서 열린 국제학술대회 'ECCV(European Conference on Computer Vision)2026'에서 발표됐다.
◎공감언론 뉴시스 [email protected]
