Stanford HAI 发布两个医疗 Agent 基准:最强模型完成任务不到一半
考试满分不等于能干活,Stanford 这两个基准专门测医疗 AI 在真实临床和行政任务里的表现,最强模型完成率不到一半。做医疗 AI 的开发者、医院信息科选型时都该看看这份评估思路。
Stanford HAI 的 Nigam Shah 和 Jonathan Chen 团队发布两个新基准,专门测试 AI 在真实临床与行政工作上的表现。
测试结果显示,最好的 Agent 完成任务不到一半,与它们在执业资格考试等考试类基准上的高分形成明显反差。团队指出,医疗场景的实际任务包含多步骤流程、系统操作和上下文依赖,单靠考试分数无法预测真实工作能力。
这两个基准为医疗 AI 评估提供了以实际任务为准的参考,提示开发者与医疗机构在部署前需用贴近工作流的测试验证模型表现。
Medical AI might be able to ace licensing exams, but on two new benchmarks of real clinical and administrative work, the best agents finished less than half of the tasks. HAI Faculty Affiliates @drnigam and @jonc101x explain what they found: https://t.co/irGJknq3q1
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Stanford HAI、医疗AI、AI安全、智能体,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Stanford HAI」(@StanfordHAI),经 AITOP 多维评分管线结构化提炼。