[울산=뉴시스] 구미현 기자 = 스포츠 경기 전체 영상을 분석해 중요한 장면을 찾아내는 인공지능(AI)의 성능을 실제 중계 환경에 가깝게 검증할 수 있는 대규모 평가 데이터셋이 개발됐다.

울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 축구와 야구, 농구 등 8개 스포츠 종목의 장시간 경기 영상으로 구성된 AI 평가 벤치마크 'SVHighlights(Sport Video Highlights)'를 구축했다고 13일 밝혔다.

기존 스포츠 영상 하이라이트 데이터셋은 대부분 2~4분가량의 짧은 영상에 집중돼 있었다. 긴 영상에서 어떤 장면이 하이라이트인지 사람이 직접 확인해 정답 데이터를 만드는 데 많은 시간과 비용이 필요했기 때문이다.

연구팀은 이 문제를 스포츠 방송사가 제작한 공식 하이라이트 영상으로 해결했다. 전문 편집자가 선별한 하이라이트를 정답으로 활용하고, 이를 실제 경기 영상의 정확한 시점과 자동으로 연결하는 매칭 기술을 개발했다.

연구팀은 원본 경기 영상과 하이라이트 영상의 프레임을 비교해 시각적으로 가장 유사한 장면을 찾는 한편, 장면이 등장하는 시간적 순서까지 함께 고려했다. 경기 중 득점 장면 등이 반복 재생되는 상황에서도 리플레이 화면이 실제 경기 장면으로 잘못 연결되는 것을 막기 위해서다.

이를 통해 축구·야구·농구·배구·미식축구·아이스하키·럭비·레이싱 등 8개 종목, 320편의 영상으로 구성된 총 640.18시간 규모의 벤치마크를 구축했다. 영상 한 편의 평균 길이는 약 2시간으로 기존 데이터셋보다 30~60배 길다.

연구팀은 데이터 구축과 함께 장시간 경기 영상에서 하이라이트를 찾아내는 AI 모델 'TF-SELECTOR'도 개발했다. 장면 분할 모델과 음성인식 모델, 비전언어모델, 대규모 언어모델 등을 결합한 방식이다.

SVHighlights를 활용한 성능 평가에서 TF-SELECTOR는 기존 모델보다 대부분의 주요 지표에서 높은 성능을 기록했다. 가장 중요한 하이라이트 한 장면을 맞히는 HIT@1은 차순위 모델보다 2.50%포인트, 하이라이트 수만큼 후보 장면을 찾아내는 HIT@K는 4.04%포인트 높았다. 예측한 장면과 실제 정답 구간의 겹침 정도를 측정하는 IoU도 2.95점 향상됐다.

이번 연구에는 이동규 UNIST 석·박사통합과정생과 기영빈 석사가 제1저자로 참여했다.

김태환 교수는 "방송사가 제작한 하이라이트를 활용해 사람이 장시간 영상을 직접 확인해야 했던 정답 데이터 구축 과정을 크게 줄였다"며 "데이터를 지속적으로 확장할 수 있어 장시간 영상 분석 AI를 객관적으로 평가하고 더 나은 모델을 개발하는 데 도움이 될 것"이라고 말했다.

이번 연구는 지난달 9일 제주에서 열린 데이터마이닝 분야 국제학회 ACM KDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining)에 채택됐다. 연구팀은 프로젝트 페이지를 통해 데이터셋과 관련 코드를 공개할 예정이다.


◎공감언론 뉴시스 gorgeouskoo@newsis.com