事件专题 ·官方一手

CoRE 基准揭示 LLM 数据清洗成绩依赖已知实体记忆

论文提出 CoRE 协议,用英文单词或音节构建的名称替身来检测 LLM 数据清洗中的知识依赖。在 21 张受控表和 8 个 LLM 的测试中,Hospital 与 Movies 两个数据集上的修复表现随实体名称明显波动,DeepSeek-V4-Pro 的年份准确率在换用替身后从 91% 降到 18%。商业模型在已知影片上会以 0.000-0.404 的比率改写指定导演,说明熟悉知识可能与任务冲突。Rayyan 数据集上参考评分还会与外部记录不一致,94% 的 TabClean 认可修复只是复现了参考日期变换。论文公开了受控表格、评分代码与离线复现材料。

当前结论

做数据清洗的同学看下:这篇用改名替身测出 8 个模型的得分其实靠记忆已知实体,DeepSeek-V4-Pro 换名后年份准确率从 91% 掉到 18%。

2 个信源37° AI 热度最后更新 2026/11/5 14:44:44

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。