Number(数字)在大模型语境下,特指语言模型对数值的理解、生成与计算能力,即所谓的“数值推理”或“数字素养”问题。由于 tokenizer 会把数字切分成不等长的子词,LLM 在金融分析、统计问答等场景中经常出现数字幻觉——数值看似合理实则凭空捏造,这已成为当前评测和训练研究的一个细分热点。
Number 相关近期进展
围绕大模型的 Number 处理能力,近期有几项值得关注的研究:
当前焦点与观察点
目前关于 Number 能力的讨论集中在三个方向:一是 tokenizer 层面的改造,例如让每个数字独立成词或采用专门的数值编码,以降低切分带来的误差;二是训练目标层面的优化,DEL 等损失函数代表了对数字生成过程更细粒度的约束;三是应用层面的审计与验证,NumTrace 反映出金融、医疗等高风险场景对“数字可溯源”的实际需求正在上升。
争议点在于:数值能力到底是靠架构和分词修复的“工程问题”,还是需要通过工具调用(计算器、代码解释器)绕开的“本质局限”。短期来看,多数生产系统选择了后者——让模型负责推理,让工具负责精确计算;但训练侧的改进如果能显著降低数字幻觉,这一分工可能会被重新审视。对关注该方向的读者,值得持续跟踪 DeepSeek 等团队后续在数值学习上的实验结果,以及金融 Agent 场景中数字审计标准的落地情况。