Probability（概率）是描述随机事件发生可能性的数学量，在人工智能领域它既是模型输出层的基本形式，也是评估推理可靠性的核心视角。当前大模型推理中的概率计算正面临效率与校准的双重挑战，多项研究尝试从 token 压缩、观测度量和步级价值等角度重新审视「概率」在推理链条中的角色。
Probability 近期进展
76% 是 TokenProbe 框架给出的推理开销降幅，该工作通过压缩冗余 token 来减少概率计算次数。它把注意力放在推理过程中大量重复、低信息量的 token 上，认为不必对每个位置都做完整的概率分布估计，从而在保持输出质量的前提下压缩计算量。这一思路反映出概率计算正从「全量精确」向「按需精确」转变。(TokenProbe 框架：通过压缩冗余 token 将推理开销降低 76%)
量化推理模型中的概率观测也出现分歧。一项来自 DeepSeek 的研究提出「校准 e-CUSUM 解码」，核心论点是 token log-probability 作为观测值本身存在偏差，直接用于解码控制并不可靠，需要先做校准。这相当于对「概率即置信度」的默认假设提出了修正，与 Agent Step Value 用状态锚定 LLM 评估器测量动作步价值的思路形成呼应——后者同样不满足于单步概率，而希望从状态层面估计价值。(Calibrated e-CUSUM 解码用于量化推理模型：为什么 Token Log-Probability 是错误观测)(Agent Step Value：用状态锚定 LLM 评估器测量动作步价值)
与此同时，斯坦福大学将于秋季推出两门免费线上课程「Probability for AI」和「Code in Place X」，前者专门面向 AI 场景讲授概率基础。这表明概率知识正在从研究前沿下沉为 AI 从业者的通识需求，教学内容与推理模型的现实问题开始直接挂钩。(斯坦福大学推出两门秋季免费线上课程：Probability for AI 和 Code in Place X)
当前焦点与观察点
围绕 Probability 的讨论集中在三点：一是概率计算能否在不损失推理质量的前提下大幅压缩；二是 token 级概率是否足以支撑解码与评估，还是必须引入校准或状态级信号；三是概率遗忘问题，例如 MAST 尝试用机制引导的选择性遗忘降低 RLVR 推理遗忘的附带损害，暗示概率分布在训练中会经历非预期的漂移。(MAST：机制引导的选择性遗忘方法，降低 RLVR 推理遗忘的附带损害) 这些方向共同指向一个观察点：概率正从模型的输出副产品，变成需要显式设计、校准与保护的推理基础设施。