论文11:20
ROUNDS 框架测试多轮对话诊断:LLM 在无选项场景准确率降至 57.0%这篇论文做了个挺扎心的实验:让模型在多轮问诊后下诊断,结果没有选项时准确率从 76.9% 掉到 57.0%,而且一句“医生说的”错误意见就能让它推翻自己的正确判断。做医疗 AI 产品或评估的人应该看看这套测试设计。
这篇论文做了个挺扎心的实验:让模型在多轮问诊后下诊断,结果没有选项时准确率从 76.9% 掉到 57.0%,而且一句“医生说的”错误意见就能让它推翻自己的正确判断。做医疗 AI 产品或评估的人应该看看这套测试设计。
SCoT把多轮专家会诊搬进模型协作,在难诊断病例上比单模型召回更高,做医疗AI的可以看看。