다양한 임상 사례 활용한 5개 실험서 AI 높은 성능
응급실 환자 진료기록 이용한 비교 평가도 진행
연구진 "실제 의료현장서 효과 확인할 시험 필요"
![[서울=뉴시스] 20일 의료계에 따르면 최근 미국 하버드의대와 베스이스라엘디코니스메디컬센터 등이 참여한 공동연구진은 대규모언어모델(LLM)의 의료 판단 능력을 의사와 비교한 연구 결과를 국제학술지 '사이언스(Science)'에 발표했다. (사진=유토이미지 제공) *재판매 및 DB 금지](https://img1.newsis.com/2026/11/13/NISI20261113_0002291376_web.jpg?rnd=20261113150116)
[서울=뉴시스] 20일 의료계에 따르면 최근 미국 하버드의대와 베스이스라엘디코니스메디컬센터 등이 참여한 공동연구진은 대규모언어모델(LLM)의 의료 판단 능력을 의사와 비교한 연구 결과를 국제학술지 '사이언스(Science)'에 발표했다. (사진=유토이미지 제공) *재판매 및 DB 금지
[서울=뉴시스]송종호 기자 = 인공지능(AI)이 환자의 증상과 검사 결과를 바탕으로 질병을 판단하는 능력에서 의사보다 높은 성능을 보였다는 연구 결과가 나왔다. 다양한 임상 사례를 활용한 5개 과제에서 AI는 의사들의 기존 평가 결과와 비슷하거나 더 높은 점수를 기록했다. 실제 응급실 환자의 진료기록을 활용한 별도 평가에서도 AI가 비교 대상 의사보다 높은 성능을 보인 것으로 나타났다.
22일 의료계에 따르면 미국 하버드의대와 베스이스라엘디코니스메디컬센터 등이 참여한 공동연구진은 AI의 임상 추론 능력을 의사와 비교한 연구 결과를 국제학술지 '사이언스(Science)'에 발표했다.
논문 제목은 '의사의 임상 추론 과제에서 나타난 대규모언어모델의 성능(Performance of a large language model on the reasoning tasks of a physician)'으로 지난 4월 30일 게재됐다.
임상 추론은 환자의 증상과 검사 결과 등을 종합해 어떤 질병이 의심되는지 판단하고, 필요한 검사나 치료 방향을 결정하는 과정을 말한다.
연구진은 오픈AI의 추론형 AI 모델인 ‘o1-preview’를 활용해 다양한 임상 사례에서 진단과 의료적 판단에 관한 능력을 평가했다.
평가는 의심되는 질환을 찾아내는 능력, 진단에 이르는 판단 과정을 설명하는 능력, 응급실 초기 정보로 의심 질환을 제시하는 능력, 질병의 발생 가능성을 판단하는 능력, 검사와 치료 방향을 결정하는 능력 등 5개 과제로 구성됐다.
연구진은 AI가 제시한 답변을 의사들의 기존 평가 결과와 비교했다. 비교 자료에는 다양한 경력과 수련 수준의 의사들이 참여한 과거 연구 결과가 활용됐다.
그 결과 AI는 5개 과제에서 비교 대상 의사와 비슷하거나 더 높은 성능을 보였다.
대표적으로 의학 학술지 '뉴잉글랜드저널오브메디슨(NEJM)'에 게재된 환자 사례를 이용한 평가에서는 AI가 의심 질환 목록에 실제 진단명을 포함한 비율이 78.3%로 나타났다. AI가 첫 번째로 제시한 진단명이 실제 진단과 일치한 비율은 52%였다.
같은 학술지의 가상 환자 사례를 활용한 평가에서도 AI는 진단에 이르는 판단 과정을 설명하는 능력에서 높은 점수를 받았다.
연구진은 환자에게 필요한 검사나 치료 방향을 판단하는 능력도 살펴봤다.
실제 환자 사례를 바탕으로 구성한 5개 문제에서 AI의 점수 중앙값은 89%였다. 기존 AI 모델인 GPT-4는 42%, GPT-4를 활용한 의사는 41%, 일반적인 자료를 참고한 의사는 34%로 나타났다.
연구진은 실제 응급실 환자의 진료기록을 활용한 평가도 별도로 진행했다.
미국 보스턴의 베스이스라엘디코니스메디컬센터 응급실 환자 사례를 무작위로 선정해 AI 모델 'o1'과 전문의 2명이 제시한 진단 의견을 비교했다.
평가는 환자가 응급실에 처음 도착한 시점과 의사의 진찰을 받은 이후, 일반병동이나 중환자실에 입원하는 시점 등 세 단계로 나눠 진행됐다.
연구진은 각 단계에서 확인할 수 있는 환자 정보를 바탕으로 AI와 의사가 제시한 진단 의견을 평가했다. 이 과정에서 평가를 맡은 의사들에게는 해당 진단 의견을 AI와 의사 중 누가 작성했는지 알리지 않았다.
그 결과 AI는 응급실 환자의 진료기록을 활용한 평가에서도 비교 대상 의사보다 전반적으로 높은 성능을 보였다.
다만 연구진은 이번 연구가 AI의 실제 진료 능력 전반을 평가한 것은 아니라고 설명했다.
연구는 주로 글로 작성된 환자의 증상과 진료기록을 바탕으로 진행됐다. 의사가 환자를 직접 진찰하면서 얻는 시각·청각 정보 등을 종합하는 능력까지 평가한 것은 아니다.
연구에 활용된 사례가 내과와 응급의학 분야에 집중됐다는 점도 한계로 제시됐다. 수술이 필요한 환자 등 다른 진료 분야에서도 같은 결과가 나타나는지는 확인되지 않았다.
특히 응급실 환자 기록을 활용한 평가는 진단 의견을 제시하는 능력을 살펴본 것으로, 실제 응급실에서 이뤄지는 환자의 중증도 분류나 입·퇴원 결정, 즉각적인 처치 등 의료적 판단 전반을 검증한 것은 아니다.
일부 실험에서는 기존 연구의 AI와 의사 평가 결과를 비교 기준으로 활용했다. 연구별로 사용된 환자 사례와 비교 방식에 차이가 있다는 한계도 존재했다.
연구진은 "이번 연구에서 AI가 기존의 여러 임상 추론 평가 기준에서 의사보다 높은 성능을 보였다"고 밝혔다.
이어 "이러한 성능이 실제 의료현장에서 환자의 진단과 치료에 어떤 영향을 미치는지 확인하기 위한 전향적 임상시험이 필요하다"고 덧붙였다.
◎공감언론 뉴시스 [email protected]
