Number

general · 首次出现 2026-05-22 · 最近出现 2026-11-19 · 累计提及 177

综述

Number(数字)在大模型语境下,特指语言模型对数值的理解、生成与计算能力,即所谓的“数值推理”或“数字素养”问题。由于 tokenizer 会把数字切分成不等长的子词,LLM 在金融分析、统计问答等场景中经常出现数字幻觉——数值看似合理实则凭空捏造,这已成为当前评测和训练研究的一个细分热点。

Number 相关近期进展

围绕大模型的 Number 处理能力,近期有几项值得关注的研究:

  • DEL:面向大模型数值学习的Digit Entropy Loss——DeepSeek 提出的 Digit Entropy Loss(DEL),从训练目标层面改进模型对数字序列的建模,试图从源头降低数字生成的随机性错误。
  • NumTrace: Auditing the Number Provenance of Financial Analyst Agents——该工作关注金融分析类 Agent 输出数字的“溯源”审计,即判断模型给出的数值究竟是来自上下文证据,还是被编造出来的,为 Number 可信度提供了可量化的评估框架。
  • 信号秩、索引与列表可复制性:关联与分离——从列表复制与索引角度切入,研究模型在定位和复现序列元素(包括数字)时的能力边界。
  • 动态资源分配改进Ensemble Determinization MCTS——通过改进 MCTS 的确定性化与资源分配,间接提升涉及数值计算任务的推理稳定性。
  • 当前焦点与观察点

    目前关于 Number 能力的讨论集中在三个方向:一是 tokenizer 层面的改造,例如让每个数字独立成词或采用专门的数值编码,以降低切分带来的误差;二是训练目标层面的优化,DEL 等损失函数代表了对数字生成过程更细粒度的约束;三是应用层面的审计与验证,NumTrace 反映出金融、医疗等高风险场景对“数字可溯源”的实际需求正在上升。

    争议点在于:数值能力到底是靠架构和分词修复的“工程问题”,还是需要通过工具调用(计算器、代码解释器)绕开的“本质局限”。短期来看,多数生产系统选择了后者——让模型负责推理,让工具负责精确计算;但训练侧的改进如果能显著降低数字幻觉,这一分工可能会被重新审视。对关注该方向的读者,值得持续跟踪 DeepSeek 等团队后续在数值学习上的实验结果,以及金融 Agent 场景中数字审计标准的落地情况。

    相关报道

    10 条在档