NVIDIA 论文:把推理轨迹编译成代码,重复问题便宜 16 到 291 倍
NVIDIA 把 Claude Opus 4.5 的推理轨迹转成 Python 函数缓存到 CPU 跑,重复问题便宜 16 到 291 倍,AIME '25 还从 83.3% 提到 93.3%。跑同类提示词的智能体可以直接抄这个架构,省下大量 token 开销。
NVIDIA 发布论文,发现 LLM 对同一问题的改写版、换数字版仍从头推理,而把已完成的推理轨迹复用为 CPU 代码后,同类问题推理成本可降低 16 倍到 291 倍。
方法上,由 Claude Opus 4.5 将推理过程转化为小型 Python 函数,把可变部分抽象为参数;运行时在 CPU 上执行这些函数,仅在小规模文本处理(如提取数值)时调用一个微调后的 1B 模型。该缓存在 8 个数学与科学基准中有 7 个达到或超过原模型准确率,AIME '25 上拿到 93.3%,高于原模型的 83.3%,并至少处理了 90% 的改写或换数变体。
对开发者来说,这套方案适合同一提示词反复跑新数据的智能体工作流:命中缓存走代码,未命中才调用 LLM,从而把推理开销压到最低。
New NVIDIA paper finds that once an LLM has reasoned through a problem, the solution can run as CPU code for rephrased and re-numbered versions of it.
that answers similar questions 16x to 291x cheaper.
LLMs re-solve every problem from scratch, even when only wording or numbers change. Agents sending the same instructions with new data pay for that repeated reasoning each time.
Their method has Claude Opus 4.5 turn a reasoning trace into small Python functions, with changeable inputs as parameters. At run time they execute on a CPU, calling a fine-tuned 1B model only for small text jobs like extracting values.
The cache matched or beat the source model's accuracy on 7 of 8 math and science benchmarks, scoring 93.3% versus 83.3% on AIME '25. It handled at least 90% of rephrased or re-numbered variants.
If your agent runs the same prompt on new inputs all day, cache the reasoning as code and use the LLM only on misses.
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:NVIDIA、Claude Opus 4.5、AIME、推理缓存,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 Jim Fan、NVIDIA AI、elvis 等),属于近期高关注度行业信号。