[울산=뉴시스] 구미현 기자 = 인공지능, 특히 딥러닝은 종종 ‘맞히긴 맞히는데 왜 맞혔는지 말은 못 하는’ 블랙박스로 불린다. 사진을 보여주면 새를 새라고 맞히지만, 도대체 사진의 어디를 보고 그렇게 판단했는지는 사람 입장에서 답답할 때가 많다.

그동안은 모델 내부를 들여다보는 방식의 설명 가능한 인공지능(XAI)이 주류였는데, 이번엔 출발점이 다르다. 모델이 아니라 모델을 키우는 ‘데이터’에 사람 말로 된 설명을 붙여, 판단 근거를 더 투명하게 만들자는 접근이다.

울산과학기술원(UNIST)은 인공지능대학원 김태환 교수팀이 대형언어모델(LLM)을 활용해 이미지 데이터를 자연어 설명문으로 변환한 뒤, 그중 실제로 학습에 도움이 되는 문장만 골라 쓰는 학습 방법론을 제안했다고 29일 밝혔다.

기존의 설명 가능한 인공지능(XAI) 연구는 주로 학습이 완료된 모델의 내부 연산 과정이나 예측 결과를 사후적으로 분석하는 데 집중했다. 반면 연구팀은 AI 학습의 원천인 ‘데이터’에 주목하여, 데이터의 특징을 설명문으로 구체화하고 이를 분석함으로써 모델의 의사결정 과정을 규명하고자 했다.

연구팀은 먼저 챗GPT와 같은 LLM 모델로 사진 속 사물의 특징을 여러 문장으로 설명하게 했다. 환각 현상 없는 고품질 설명문을 만들기 위해서는 인터넷 백과사전과 같은 외부 지식도 참고하도록 했다.

LLM이 생성한 수십 개의 설명 문장이 모두 모델 학습에 유효한 것은 아니다. 연구팀은 생성된 설명 중 AI 모델이 정답을 맞추는 데 실제로 참고한 설명문을 식별하기 위해 텍스트 영향력 점수(IFT: Influence scores For Texts)라는 정량적 분석 지표를 고안했다.

IFT는 두 가지 요소를 합산하여 계산된다. 특정 설명 문장을 학습 데이터에서 제외했을 때 모델의 예측 오차가 얼마나 변화하는지를 계산하여 학습 기여도를 측정하는 영향력 점수와, 텍스트 설명이 실제 이미지의 시각적 정보와 의미적으로 얼마나 일치하는지를 나타내는 CLIP 점수(CLIP Score)다.
 
예를 들어 조류 분류 모델에서 배경 색상에 대한 설명보다 '부리의 형태'나 '깃털의 무늬'를 묘사한 설명문이 높은 IFT 점수를 기록했다면, 해당 모델은 부리와 깃털의 특징을 학습하여 대상을 식별했다고 해석할 수 있다.

연구팀은 이렇게 영향력이 큰 설명문들이 실제 모델이 정답을 맞추는 성능에도 도움이 되는지를 확인하기 위해 별도의 벤치마크 실험을 설계했다. 영향력이 높은 설명문을 모델 학습에 함께 제공하고 새로운 데이터셋에서 분류 작업을 수행하는 교차 모달 전이 실험을 진행한 것이다. 그 결과 영향력이 높은 설명문을 사용했을 때 기존 방식보다 안정적으로 높은 성능을 보였다. 이는 모델이 학습 과정에서 실제로 활용했던 설명이 성능에도 의미 있는 기여를 한다는 사실을 보여주는 검증 결과다.

김태환 교수는 "연구에서 제시한 AI가 스스로 자신이 학습하는 데이터를 설명하는 방식은 딥러닝의 복잡한 의사결정 과정을 본질적으로 드러내는 방법이 될 수 있다"며 "향후 블랙박스 AI 시스템을 투명하게 이해하는 기반이 될 것이다"라고 말했다.

연구 결과는 자연어처리(NLP) 분야 대표 국제학회인 EMNLP(Empirical Methods in Natural Language Processing)의 정식 논문으로 채택됐다. 올해 EMNLP는 11월 5일부터 9일까지 중국 쑤저우에서 열렸다.


◎공감언론 뉴시스 gorgeouskoo@newsis.com