后训练相关 AI 资讯 · AITOP

6月12日

12:09

官方账号vLLM@vllm_project

精选

vLLM 项目宣布推出 vime，一个在 vLLM 生态中用于 LLM 后训练的强化学习框架。vime 基于 slime 的训练设计，并利用 vLLM 推理引擎，提供简单、稳定且高效的 RL 训练方案。该框架旨在与 NeMo RL、OpenRLHF、verl 等共存，为用户提供更多选择。vime 的推出丰富了 vLLM 后训练生态，推动互操作性和创新。

推荐理由：做 LLM 后训练的团队终于有了 vLLM 生态内的 RL 框架选择——vime 简单稳定，直接可用，想尝试不同 RL 框架的开发者值得关注。

原文

04:04

官方账号Together AI@togethercompute

精选

Trajectory Labs 在 Together Compute 和 NVIDIA 的支持下，仅用不到 24 小时就在一个开放模型上实现了前沿模型级别的性能。这展示了当优秀开源模型与合适的训练基础设施结合时，可以快速取得显著成果。Together Compute 为此提供了算力支持，凸显了开放模型生态的潜力。

AI模型开放模型后训练算力基础设施

事件专题

推荐理由：对于关注开源模型训练效率的团队，这个案例证明了 24 小时内就能让开放模型达到前沿水平，值得研究其训练流程。

原文

6月11日

11:58

官方账号arXiv cs.LG@Leon Bergen, Usha Bhalla, Sidharth Baskaran, Max Loeffler, Raphael Sarfati, Dhruvil Gala, Ryan Panwar, Santiago Aranguri, Thomas Fel, Atticus Geiger, Matthew Kowal, Siddharth Boppana, Daniel Balsam, Owen Lewis, Jack Merullo, Thomas McGrath, Ekdeep Singh Lubana

精选

这篇论文提出了一种基于可解释性的后训练数据管道，用于诊断和修正偏好数据中的虚假关联。作者通过可解释性协议识别出数据中潜在的概念，让用户能明确哪些行为应该被模型学习。实验表明，该方法能有效缓解过度风格化、谄媚等不良行为，并增强安全性和个性等期望属性。这项工作将后训练从优化黑箱奖励转变为审计和塑造学习信号的过程。

论文可解释性后训练偏好数据

推荐理由：做模型对齐和偏好优化的团队终于有了数据层面的诊断工具——不用再盲目调奖励权重，直接看数据教了模型什么。做安全对齐或模型人格定制的开发者建议点开，能省下大量试错时间。

原文

6月10日

11:38

官方账号arXiv cs.AI@Soham Bhattacharjee, Karun Sharma, Vinay Kumar Sankarapu, Pratinav Seth

精选

这篇论文研究了合成后训练数据筛选中的两个关键问题：过滤信号是否基于生成样本的来源证据，以及被拒绝的样本能否被系统性地恢复而非永久丢弃。作者通过对抗性注入语料库提供真实失败标签，在多种门控配置、恢复策略和生成器规模下进行了受控实验。研究发现，精确的来源证据能提升强评判器的忠实度门控效果；幻觉门控和奖励门控拒绝的样本群体几乎不重叠，因此两者都必要；结合失败诊断与定向再生成的适应性恢复管线，在产出率、恢复率和注入召回率上均优于简单重采样。下游微调质量主要由生成器规模决定，过滤和恢复条件虽有贡献但属于次要因素。

论文合成数据数据筛选门控机制

推荐理由：做合成数据后训练管线的团队会感兴趣——这篇论文用实验证明了来源证据门控和适应性恢复策略能显著提升数据质量，比简单重采样更高效，建议做数据筛选的开发者点开看看具体方法。

原文

5月30日

05:15

官方账号NVIDIA AI@NVIDIAAI

NVIDIA AI 宣布，Harvey 与 Trajectory Labs 合作，基于 NVIDIA Nemotron 3 Super 模型进行后训练，专注于复杂法律任务。他们在 Harvey 的 Legal Agent Benchmark（LAB）上测试了 1200+ 端到端法律任务，覆盖 24 个业务领域。初始结果显示，后训练的 Nemotron 3 Super 在性能上可媲美闭源前沿模型。该项目强调开放权重、可审计性和数据主权，支持持续学习（continual learning），使法律智能体能够从反馈中不断改进。这标志着开放模型在专业领域应用的重要突破。

AI模型 NVIDIA Nemotron 3 Super 法律 AI

事件专题

推荐理由：法律 AI 团队终于有了可审计、可定制的开放模型选择——Nemotron 3 Super 在复杂法律任务上追平闭源模型，做法律科技或合规自动化的开发者可以直接关注这个开源方案。

原文

5月28日

15:39

官方一手pandaily@contact@pandaily.com (Pandaily)

精选76°

Sphere AI Lab 开源了 Orbit，一个强化学习后训练框架，支持在单个 8×B200 节点上对万亿参数模型（如 DeepSeek-V4）进行微调。该框架通过优化内存和计算效率，大幅降低了大规模模型训练的门槛，使得资源有限的团队也能进行高效的后训练。Orbit 的发布解决了万亿参数模型训练需要大规模集群的痛点，有望推动更多研究者和开发者参与大模型的后训练优化。

AI模型开源/仓库强化学习后训练

推荐理由：Orbit 让万亿参数模型的后训练不再依赖大规模集群，做 RL 微调或大模型优化的团队可以直接在单节点上跑 DeepSeek-V4，建议试试这个开源方案。

原文

10:25

Lenny Rachitsky@lennysan

精选76°

Trajectory 是一家研究实验室兼产品公司，宣布获得 1500 万美元融资，投资方包括 Conviction、Bessemer Venture Partners 等。该公司正在构建持续学习平台，能够从产品使用数据中提取信号，让企业持续后训练大规模智能体模型，使其性能超越前沿模型。Trajectory 已与 Clay、Harvey、Decagon 等 AI 原生公司合作，部分已进入生产阶段。团队汇聚了来自 DeepMind、OpenAI、Apple、Meta 等机构的顶尖研究人员。

AI产品持续学习智能体后训练

事件专题

推荐理由：持续学习是智能体落地的关键瓶颈，Trajectory 用产品使用数据后训练模型，做 AI 智能体的团队值得关注其技术路线。

原文

5月27日

10:30

官方账号arXiv cs.AI@Yi Jing, Zao Dai, Jinwu Hu, Zijun Yao, Lei Hou, Juanzi Li, Xiaozhi Wang

精选

论文提出SAERL框架，利用稀疏自编码器（SAE）提取模型内部信号，用于强化学习（RL）后训练的数据工程。SAERL建模了数据的多样性、难度和质量三个内在属性，分别实现批次多样性控制、易到难课程排序和数据过滤。在Qwen2.5-Math-1.5B上，SAERL相比原始GRPO平均准确率提升3%，训练步数减少20%，且在不同模型规模和RL算法上表现一致。实验表明SAE可跨模型族和规模迁移，是一种轻量可复用的数据工程工具。

论文稀疏自编码器数据工程强化学习

推荐理由：做LLM后训练数据工程的团队终于有了从模型内部获取信号的方法——SAERL用SAE直接指导数据排序和过滤，比依赖外部信号更高效，做RL训练优化的开发者值得一试。

原文

5月26日

12:38

官方一手arXiv: DeepSeek@Andreas Opedal, Francesco Ignazio Re, Abulhair Saparov, Mrinmaya Sachan, Bernhard Schölkopf, Ryan Cotterell

精选

研究者将自然语言推理建模为搜索问题，利用 A* 搜索算法指导 LLM 生成正确且高效的推理步骤。通过监督微调（基于 A* 执行轨迹）和强化学习（结合 A* 过程奖励模型），Llama-3.2 1B-3B 模型从近乎零准确率提升至超越 DeepSeek-V3.2。研究发现，简单正确性奖励最大化准确率，而 A* 信号能平衡准确率与效率。在更大搜索空间下，基于不完美启发式的训练反而带来更优准确率。这项工作展示了经典搜索算法指导 LLM 推理的潜力。

论文推理模型 A* 搜索后训练

推荐理由：A* 搜索让小模型推理能力大幅跃升，做推理优化或小模型部署的团队值得关注，可以直接参考其训练方法。

原文

07:36

Y Combinator@ycombinator

BioStack 是一家初创公司，其平台能将真实的临床数据（如病历、实验室检测、笔记和长期结果）转化为医疗 AI 的后训练循环，包括数据、评估、奖励和基准测试。该平台通过模拟环境让 AI 模型在真实临床数据上练习，从而提升其准确性和可靠性。这一创新解决了医疗 AI 训练中数据稀缺和模拟环境不真实的问题。BioStack 已获得 Y Combinator 支持，并正式发布。

AI产品医疗 AI 模拟环境临床数据

推荐理由：医疗 AI 开发者终于有了一个能模拟真实临床数据流的训练环境——BioStack 把杂乱病历和长期结果变成可迭代的后训练循环，做医疗 AI 的团队可以直接用它来提升模型可靠性。

原文

5月22日

13:25

官方账号Logan Kilpatrick@OfficialLoganK

88°

Google 的 Gemini 3.5 Flash 模型在 GDPval 基准测试中相比 3.1 Pro 取得了显著进步，性能已接近前沿水平。这表明后训练（post-training）技术仍在持续提升模型能力。该消息由开发者 Logan Kilpatrick 在 X 上分享，引发社区关注。Gemini 3.5 Flash 作为轻量级模型，其竞争力提升对开发者选择高效模型具有参考价值。

AI模型 Gemini 3.5 Flash GDPval 后训练

推荐理由：轻量模型逼近前沿，做推理或成本敏感应用的开发者值得关注——Flash 系列可能成为性价比新选择。

原文

5月21日

11:23

官方账号arXiv cs.AI@Mark Obozov, Maxime Griot, Joseph Cummings, Evan Smothers, Felipe Mello, Rafi Ayub, Philip John Bontrager, Salman Mohammadi, Ariel Kwiatkowski, Nathan Azrak, Mircea Mironenco

精选72°

torchtune 是一个 PyTorch 原生的后训练库，旨在简化大语言模型（LLM）的微调、实验和部署流程。与 Axolotl、Unsloth 等框架相比，torchtune 强调模块化、可定制性和对底层 PyTorch 组件的直接访问，而非牺牲透明度和可扩展性。论文展示了其模型构建器、训练配方和分布式训练栈的设计，并在多种后训练场景中评估了性能。结果表明，torchtune 在保持强性能和内存效率的同时，足够灵活以支持快速研究迭代。该库为可复现的 LLM 后训练研究提供了实用基础。

AI模型 torchtune PyTorch LLM 微调

推荐理由：做 LLM 微调的研究者或工程师，如果受够了黑盒框架的调试痛苦，torchtune 的模块化设计和 PyTorch 原生体验值得一试，能让你在保持性能的同时自由定制训练流程。

原文

5月16日

21:49