단국대 이용진 교수팀, AI 가상 환자 평가 체계 개발

[용인=뉴시스] 이준구 기자 = 의대생 진료 실습에 도입되는 인공지능(AI) 가상 환자의 답변 정확도와 대화 능력을 검증할 수 있는 평가 체계가 개발됐다.

단국대 의학과 이용진 교수 연구팀(서울대 김세중 교수·박진용 연구원 공동)은 주요 대형언어모델(LLM)이 생성한 가상 환자의 답변을 다각도로 분석·검증하는 평가 시스템을 구축했다고 6일 밝혔다. 이번 연구는 머신러닝 분야 세계 최고 권위 학술대회인 'NeurIPS 2026'의 데이터셋 및 벤치마크 트랙에 채택돼 오는 12월 호주 시드니에서 발표될 예정이다.

연구팀은 GPT-4o, 클로드 3.5 소네트, 라마 3.1 70B, 하이퍼클로바X 등 4개 주요 LLM을 대상으로 성능 평가를 진행했다. 고학년 의대생 17명이 평가 모델 정보가 가려진 블라인드 상태에서 전문가 모범 답안과 비교 분석했으며, 총 7480건의 평가 데이터를 확보해 11개 병력 청취 범주와 3가지 언어 형식으로 분석했다.

분석결과 AI 가상 환자는 의학적 사실 기반의 정보 정확도 면에서는 전문가 답안에 근접한 높은 성과를 거뒀다. 하지만 환자의 핵심 증상을 파악하는 '주호소 파악', 질환 및 치료를 설명하는 '환자 교육', 진단을 내리는 '임상 추론' 등 실제 대화의 유창성과 자연스러움이 요구되는 영역에서는 한계를 보였다. 특히 한국어 부정형 질문에 대해 언어적 유창성이 추가로 떨어지는 경향이 확인됐다.

연구팀은 이번 평가 체계를 실제 운영중인 웹 기반 진료 실습 플랫폼에 적용해 AI 가상 환자의 답변 품질과 자동 채점 기준을 지속적으로 정밀화할 계획이다.

이용진 교수는 "의학교육자가 주도한 평가 체계가 세계적인 AI 학술대회에서 인정받은 것"이라며 "의대 정원 확대 및 지역의료 인력 양성에 따른 실습 교육 수요 증가에 적극 대응하겠다"고 말했다.


◎공감언론 뉴시스 [email protected]