NVIDIA Nemotron 3.5 Super 用专家构建任务做 RL 后训练的实验报告
NVIDIA 在 arXiv 发布报告,对 Nemotron 3.5 Super(120B 总参数、12B 激活参数)进行强化学习后训练。实验使用五套专家构建的任务数据集,逐个训练:真实软件工程、复杂约束、长程工具调用、专业图表理解和企业文档推理。每次训练基于 Tinker 平台,用 CISPO 算法训练 rank-32 LoRA 适配器,全程无监督微调阶段,并与基座模型在相同任务、同一评测框架下对比。 在十二个基准上(八个由第三方构建、四个由 Surge AI 构建),提升幅度从 IFBench 的 +4.5 分到 GDP_pdf 的 +13.8 分不等,其中 GDP_pdf 从 10.4% 升至 24.2%。其他关键结果包括:SWE-bench Pro V2 从 86.9% 升至 92.1%,Terminal-Bench 2.1 从 63.9% 升至 70.3%,MultiChallenge 从 58.3% 升至 66.6%,AutomationBench 从 14.8% 升至 27.5%,Chartography 从 39.4% 升至 50.6%。值得注意的是,文档适配器虽未使用 API 工具训练,但在 AutomationBench 上仍获得 +8.0 分。 报告还做了逐条对照分析:基座模型的失败集中在少数几种模式,而各适配器补上了对应短板——工具调用适配器先找数据和规则再行动,编程适配器在 SWE-bench Pro V2 上自行编写测试或草稿文件,约束适配器会把前几轮对话内容带入回答,图表适配器用代码测量图形标记,文档适配器则真正读取 AutomationBench 的电子表格。
当前结论
NVIDIA 把五个领域分开各训一个 LoRA 适配器,十二个基准最高涨 13.8 分,SWE-bench Pro V2 涨到 92.1%。做法是纯 RL 不带监督阶段,还附了失败模式逐条分析,做后训练的工程师能直接抄作业。
证据链
10 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。