인공지능(AI) 보안 전문 기업 에임인텔리전스(대표 유상윤)는 환자 중심 의료 대화형 인공지능의 안전성을 평가하는 새로운 벤치마크 연구 ‘PatientSafeBench’가 세계 최대 전기전자공학회(IEEE)의 국제 바이오메디컬 및 헬스 인포매틱스 학회(BHI)에 채택됐다고 10일 밝혔다. 이번 연구는 환자가 직접 사용하는 의료 특화 대규모언어모델(LLM)의 안전성과 효용성을 검증한 세계 최초 사례로, 에임인텔리전스와 분당서울대병원 연구진이 공동 개발한 ‘SickGPT(식지피티)’ 프로젝트의 결과물이다. 기존 의료 AI가 의료진 중심으로 설계·평가돼 환자 직접 사용 시 발생할 수 있는 위험성을 충분히 반영하지 못했던 한계를 보완했다는 점에서 의미가 크다. 논문에서는 ▲의료적 정확성 ▲응답의 완결성 ▲법·규제 준수 ▲환자 안전성 ▲사용자 효용성 등 5대 핵심 평가 축을 기반으로 25개 세부 항목을 제시했다. 또한 실제 임상 사례에서 수집한 500개 환자 질의 데이터를 활용해 GPT-4o, Claude, LLaMA, Meditron 등 11개 모델을 평가한 결과, 환자가 직접 사용 기준을 충족한 모델은 단 하나도 없다는 결론이 도출됐다. 특히 의료 특화 모델이 범용 모델보다 성능이 더 낮게 나타난 점이 주목된다. 환자 친화적 상호작용, 최신성, 투명성 등 실제 진료 환경에서 요구되는 핵심 요소에서 한계를 드러냈다. 에임인텔리전스 연구진은 “LLM이 의료 현장에서 환자와 직접 상호작용할 경우 잘못된 정보 제공이나 안전성 결여가 심각한 피해로 이어질 수 있다”며 “산업 도입 전 반드시 안전성 확보가 전제돼야 한다”고 강조했다. 유상윤 에임인텔리전스 대표는 “이번 IEEE BHI 학회 채택으로 에임인텔리전스의 연구가 국제적으로 검증받았다”며 “향후 의료뿐 아니라 금융, 법률 등 고위험 산업 전반에서 AI 안전성 표준 마련을 선도하겠다”고 말했다. Welaunch 이나은 기자 스타트업 뉴스 플랫폼, 위런치 © 2024 Welaunch. All Rights Reserved 보도자료/기고 : editor@welaunch.kr 광고/제휴 문의: we@welaunch.kr