복잡한 사용자 의도 짚어내는 AI 오디오 검색 기술 개발
멀티모달 모델 'OEA' 공개… 美 샌디에이고서 6일 발표
![[서울=뉴시스] (왼쪽 위부터 시계방향) 서강대 인공지능학과 장두성 교수, 구명완 교수, 이인성·신용섭·유해준 연구원. (사진=서강대 제공) 2026.07.06. photo@newsis.com *재판매 및 DB 금지](https://img1.newsis.com/2026/07/06/NISI20260706_0002178847_web.jpg?rnd=20260706112143)
[서울=뉴시스] (왼쪽 위부터 시계방향) 서강대 인공지능학과 장두성 교수, 구명완 교수, 이인성·신용섭·유해준 연구원. (사진=서강대 제공) 2026.07.06. [email protected] *재판매 및 DB 금지
[서울=뉴시스]박시은 인턴 기자 = 서강대학교는 인공지능학과 장두성 교수 연구팀의 논문이 자연어처리 분야 최고 권위 학술대회 'ACL 2026'의 구두 발표 논문으로 선정됐다고 6일 밝혔다.
이번에 선정된 논문은 '옴니 임베드-오디오: 견고한 오디오-텍스트 검색을 위한 멀티모달 대규모 언어모델 활용(Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval)'이다.
인공지능(AI) 서비스의 대중화 및 대규모 언어모델(LLM)이 보편화되면서 사용자의 질의는 의문형, 명령형, 배제 조건 등으로 점차 복잡해지고 있다.
연구팀은 이러한 실제 사용자들의 검색 행태를 반영하기 위해 ▲질문 ▲명령 ▲키워드 ▲패러프레이즈 ▲배제형 부정 질의의 다섯 가지 유형으로 구성된 새로운 오디오 검색 평가 벤치마크 'UIQ(User-Intent Queries)'를 제안했다.
이를 통해 연구팀이 제안한 '옴니 임베드-오디오(OEA)' 모델은 텍스트와 오디오를 하나의 멀티모달 언어모델로 함께 인코딩해 공유 임베딩 공간에 정렬하는 방식을 채택했다.
그 결과, 전통적인 텍스트-오디오 검색에서는 기존 최고 수준 모델(M2D-CLAP)과 대등한 성능을 보이면서도 텍스트-텍스트 검색에서 22%의 상대적 성능 향상을 기록했다. 또한 음향적으로 유사하지만 의미가 다른 오디오를 구분하는 '난적(hard negative)' 판별에서도 뚜렷한 우위를 보였다.
장 교수 연구팀의 유해준·이인성·신용섭 연구원이 참여한 이번 논문은 미국 샌디에이고에서 열리는 'ACL 2026'에서 6일(현지 시간) 발표될 예정이다.
◎공감언론 뉴시스 [email protected]
이번에 선정된 논문은 '옴니 임베드-오디오: 견고한 오디오-텍스트 검색을 위한 멀티모달 대규모 언어모델 활용(Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval)'이다.
인공지능(AI) 서비스의 대중화 및 대규모 언어모델(LLM)이 보편화되면서 사용자의 질의는 의문형, 명령형, 배제 조건 등으로 점차 복잡해지고 있다.
연구팀은 이러한 실제 사용자들의 검색 행태를 반영하기 위해 ▲질문 ▲명령 ▲키워드 ▲패러프레이즈 ▲배제형 부정 질의의 다섯 가지 유형으로 구성된 새로운 오디오 검색 평가 벤치마크 'UIQ(User-Intent Queries)'를 제안했다.
이를 통해 연구팀이 제안한 '옴니 임베드-오디오(OEA)' 모델은 텍스트와 오디오를 하나의 멀티모달 언어모델로 함께 인코딩해 공유 임베딩 공간에 정렬하는 방식을 채택했다.
그 결과, 전통적인 텍스트-오디오 검색에서는 기존 최고 수준 모델(M2D-CLAP)과 대등한 성능을 보이면서도 텍스트-텍스트 검색에서 22%의 상대적 성능 향상을 기록했다. 또한 음향적으로 유사하지만 의미가 다른 오디오를 구분하는 '난적(hard negative)' 판별에서도 뚜렷한 우위를 보였다.
장 교수 연구팀의 유해준·이인성·신용섭 연구원이 참여한 이번 논문은 미국 샌디에이고에서 열리는 'ACL 2026'에서 6일(현지 시간) 발표될 예정이다.
◎공감언론 뉴시스 [email protected]
