Facts

general · 首次出现 2026-05-26 · 最近出现 2026-11-11 · 累计提及 51

综述

Facts(事实性知识)在大语言模型语境下,指模型在预训练或后续训练中习得、存储并可调用的具体事实信息,如实体属性、日期、因果结论等,是衡量模型可靠性的核心维度。近期,围绕事实的获取、存储、遗忘与调用,成为智能体记忆、低精度训练与知识编辑等多个方向共同关注的问题。

Facts 相关的近期进展

  • 华为 openJiuwen 推出 TTSE 智能体框架,其核心思路是将「环境事实」与「条件提示」两条轨道分离管理,让智能体在自我演进时能区分客观事实与经验性建议,减少经验污染对决策的干扰。见 Huawei openJiuwen 推出 TTSE 智能体框架。
  • arXiv 论文 What the Loss Curve Misses: FP4 Pretraining Slows the Acquisition of Rare Facts 指出,FP4 超低精度预训练虽然损失曲线看起来正常,但会显著拖慢模型对罕见事实的习得——提示只用常规指标评估低精度训练可能掩盖事实性能力的退化。
  • 另一篇研究 Precedent Labels and Facts Shift LLM Approval Decisions in Opposite Directions 发现,先例标签与事实信息会把大模型的审批类判断推向相反方向,说明事实在推理链条中的权重与表面标签并不一致。
  • 在知识遗忘侧,When Forgotten Facts Return 提出基于切线核的重学习感知方法,处理知识图谱嵌入中被删除事实「复活」的问题;Google Research 的 SLEEP 方案则引入离线巩固周期,在模型上线后以类似睡眠的记忆巩固减轻灾难性遗忘(见 相关讨论)。
  • 当前焦点与观察点

    当前关于 Facts 的研究呈现三条主线。一是存储与调用的分离:无论 TTSE 的事实/提示分轨,还是 FACTS-MAS 用多智能体架构对异构证据做自适应预测(见 论文),共同点都是把「哪些信息是事实」从通用上下文中显式拆出来管理。

    二是训练效率与事实能力的张力:FP4 等低精度方案能降低成本,但罕见事实的习得速度变慢且不易从损失曲线察觉,这促使社区重新审视以困惑度为核心的评估方式。

    三是可编辑性与遗忘的可靠性:知识编辑、机器遗忘和离线巩固记忆(如 SLEEP)都试图在模型部署后继续调整事实储备,但「删掉的事实会回来」「记忆巩固引入新偏差」等问题尚未有公认解法。接下来值得观察的是,事实级别的评估基准能否成为低精度训练和智能体记忆系统的标准验收指标。

    相关报道

    10 条在档