医疗微调不降风险只重塑风险:六模型评测框架发布
医患问答光看幻觉率不够,这篇用六类风险语言给六个 7-9B 模型打分,发现医疗微调只是换了个风险方向,评测代码也开源了。
医患问答光看幻觉率不够,这篇用六类风险语言给六个 7-9B 模型打分,发现医疗微调只是换了个风险方向,评测代码也开源了。
七个模型在模拟科学探究任务里集体翻车,成功率低得离谱,但加个简单引导结构就明显变强,搞 agent 评测的可以看看。
这个框架解决了 LLM 行为研究中一个长期矛盾的谜题——为什么有的实验说模型死记硬背,有的说模型灵活跟随。做 LLM 评测或 prompt 工程的人,看完能更精准地预测模型在知识冲突场景下的行为,建议直接读原文的机制划分部分。