事件专题 ·多源确认

NVIDIA 论文:把推理轨迹编译成代码,重复问题便宜 16 到 291 倍

NVIDIA 发布论文,发现 LLM 对同一问题的改写版、换数字版仍从头推理,而把已完成的推理轨迹复用为 CPU 代码后,同类问题推理成本可降低 16 倍到 291 倍。 方法上,由 Claude Opus 4.5 将推理过程转化为小型 Python 函数,把可变部分抽象为参数;运行时在 CPU 上执行这些函数,仅在小规模文本处理(如提取数值)时调用一个微调后的 1B 模型。该缓存在 8 个数学与科学基准中有 7 个达到或超过原模型准确率,AIME '25 上拿到 93.3%,高于原模型的 83.3%,并至少处理了 90% 的改写或换数变体。 对开发者来说,这套方案适合同一提示词反复跑新数据的智能体工作流:命中缓存走代码,未命中才调用 LLM,从而把推理开销压到最低。

当前结论

NVIDIA 把 Claude Opus 4.5 的推理轨迹转成 Python 函数缓存到 CPU 跑,重复问题便宜 16 到 291 倍,AIME '25 还从 83.3% 提到 93.3%。跑同类提示词的智能体可以直接抄这个架构,省下大量 token 开销。

11 个信源69° AI 热度最后更新 2026/11/21 16:24:26

证据链

11 个信源
相关来源 10Clement Delangue
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。