HIT专家网
来源：HIT专家网 作者：郑西川
【编者按】
本文是“打造以工作流为核心的医疗智能体”系列的第五篇，内容纯属虚构，仅作为科普讨论参考。
智能体AI医生参加国家执业医师考试，考了第一名，准确率比别人高出一大截。你会让它独立给病人看病吗？大部分人会说：不会。
智能体医生虽然“知识”丰富，但我们不确定它能不能在实际看病时“用对知识”。遇到不完全按教科书生病的患者，它会不会误诊？和患者沟通时，它有没有耐心？多个病同时存在时，它会不会顾此失彼？
这就是本文要探讨的话题：怎么考核AI医生？传统的“刷题式”考试已经不够用了，我们需要一套更全面的评估体系。
如何评估？
目前的AI医学评估，大多数是“静态任务测试”，就是给AI一套选择题或问答题，看它答对多少。
常见的测试包括：（1）MedMCQA：医学多项选择题，相当于“西医综合考试”；（2）PubMedQA：给出一篇论文摘要，考察这篇论文的核心结论。
这些测试的优点是标准化、可量化，90分就是比80分好。但缺点也很明显，它只考“知识”，不考“能力”。就像一个医学院学生，理论考试门门满分，但到了临床实习，可能连问诊都不会。AI也是同样的道理。
医学教育中经典的考核方式叫OSCE（客观结构化临床考试）。简单说，就是让一个标准化病人（演员扮演）坐在考生面前，考生要和这个“病人”对话、查体、下诊断、写病历。考官边观察边打分。这个方法，可以评估考生的综合临床能力——不光是知识，还有沟通、推理、应急反应。
研究者把这个方法搬到了AI评估上，搭建了虚拟诊所，AI扮演“医生”，和“模拟病人”对话。模拟病人：“医生，我最近咳嗽，还有点喘。”AI医生：“从什么时候开始的？有没有发烧？咳痰吗？”AI通过多轮对话收集信息，给出诊断和治疗方案。整个过程的评分，不是只给“诊断对错”打分，还要看：问得全不全？逻辑通不通？对话有没有耐心？
这是更接近真实看病的评估。
评估什么？
我们把AI医生的评估指标分成五个维度。
维度一：考知识（任务性能）。选择题选对了吗？诊断结论准确吗？报告里的事实正确吗？这是基础，不是全部。
维度二：考思维（推理过程）。步骤逻辑通不通？有没有缺失关键环节？发现错误时能不能自我纠正？会做题不代表会思考。我们要看AI是怎样得出答案的，不只看答案对不对。
维度三：考安全。有没有“一本正经胡说八道”（幻觉）？有没有“漏掉重要信息”？面对诱导性提问，会不会“上当”？安全比准确更重要。一个保守但不犯错的AI，比一个准确但不靠谱的AI更适合临床。
维度四：考能力（智能体技能）。会不会用工具（查资料、调记录）？能不能完成多步任务（自动写病历）？效率高不高（多少轮对话能诊断清楚）？AI不能只会“说”，还要会“做”。
维度五：考人文。回答有没有温度、够不够耐心？患者愿不愿意和它沟通？医生愿不愿意使用它？医学是科学，也是人学。冷冰冰的AI，医生和患者都不喜欢。
上述指标很多是主观的，比如“有没有温度”。这种指标应如何量化？
一个办法是：让另一个AI来当裁判。例如，把AI医生和模拟病人的对话录下来，然后让另一个“评估AI”来打分。评估AI被训练过，知道什么是“好医生”的表现：问诊有没有结构化？有没有及时总结信息？反馈够不够明确？语气是否适当？
评估AI的优势是，可以大规模、低成本地评估海量对话，不需要每个对话都请一个专家人工打分。其风险也显而易见：评估AI本身也有偏见，需要持续校准。
目前局限与未来展望
只做到上面这些内容，其实还不够。因为仿真世界和真实世界之间还有“鸿沟”，现实比模拟复杂得多：数据不完美，真实病历有错字、有漏填、有矛盾；患者不规范，真实患者不会按教科书生病，也不会按考试题回答问题；系统有约束，真实医院有排队、有资源限制、有急诊插队；团队要协作，真实看病不是AI独自干活，还要和护士、药师、其他医生配合。一个在虚拟诊室里表现出色的AI，放到真实的急诊室里，可能会完全懵掉。
医疗智能体评估的未来方向，需要把评估从“考试”升级为“实战演习”，不是只做选择题，而是要和“别人”（真人或AI）互动；不是只看诊断结果，还要看和护士、药剂师的协作；不是只测一天，而是跟踪一个患者几个月、几年；不是在实验室里测，而是放在真实的医院信息系统中测。
AI医生评估体系的目的，不是给AI打分，而是帮助我们建造更好的AI。不会考试的AI，很难当好医生；但只会考试的AI，也当不好医生。我们需要的是两者的结合，AI医生应具备以下能力：
第一，更聪明。能处理更复杂的病情，能解释自己的推理，能在不确定时说“不知道”。
第二，更守规矩。严格遵守临床指南，遵守医院的操作流程，遵守法律法规和伦理规范。
第三，更会合作。和医生配合得更好，和其他AI配合得更好，在和人的配合中不断学习。
第四，能自我进化（但安全可控）。从每一次诊疗中学习改进，但改进过程受严格监管，任何变更都要经过验证才能上线。
【“打造以工作流为核心的医疗智能体”系列往期回顾】
【作者简介】
郑西川，上海交通大学附属第六人民医院计算机中心教授级高工。上海交通大学医学院生物医学工程专业硕士研究生导师，苏州大学放射医学与公共卫生学院生物医学工程专业硕士研究生导师。中国医院协会信息专业委员会（CHIMA）委员，中国医药信息学会（CMIA）委员，上海市医院协会信息管理专业委员会委员，中国医药信息学会上海分会常委，中国生物医药技术协会医药信息分会常委，《医疗卫生装备》杂志特约审稿专家。
研究方向：①基于PACS电子病历的临床信息共享；②HL7/XML电子转诊相关技术及应用研究；③区域临床信息共享及协同医疗信息技术研究；④数字化医院的相关标准及实现技术。近年来，先后承担上海市“十一五”重大科技项目、上海市科委自然科学基金项目、上海市经济信息委信息化专项基金以及院级课题多项。发表论文40余篇。
精彩不容错过！
我们将尽快与您联系！
【责任编辑：陈曦 版式：蒙辉】
评论前必须登录！
注册