#后训练

Merve Noyan 说开源模型做领域后训练才是真护城河，成本高但别人都在做，做开发的朋友可以看看思路。

Merve Noyan@mervenoyann原文

研究者提出了 MPT 框架，让一群智能体靠互相出价来决定谁干活，不用中央调度，代码也开源了，做 multi-agent 的可以看看。

SRO让LLM自动设计后训练配方空间，再用贝叶斯选试验，Qwen3上分数远超基线，代码已开源。

Keras 作者 Chollet 在 TPU 上拿 KerasHub+JAX 玩 LLM 后训练，说可能开源，想跟进后训练工具链的可以蹲一下。

官方账号François Chollet@fchollet原文

PewDiePie 拍了期用 env 做后训练的视频，说自己老陷在生成任务数量不够的循环里，Hugging Face 的 merve 也共鸣了，做 RL 训练的可以看看这条经验。

Merve Noyan@mervenoyann原文

Saravia 和 Weisser 都在聊一个趋势：RL 后训练吃掉越来越多算力。做垂直场景的朋友可以看看，专用模型加数据飞轮可能比追大模型更实际。

elvis@omarsar0原文

arXiv 上这篇挺有意思：想知道 RL 训练后哪些题能解出来，用别的模型训过的 checkpoint 预测，比一堆先验指标都准。

这篇论文提出了一种新采样方法，让SFT微调效果出奇地好，在多个任务上超过了传统RL方法。

做 RL 后训练的朋友可以看看这篇：换了奖励函数不用重跑训练，用现有模型就能近似出新策略，论文还给了理论证明。

Perplexity 分享了怎么让 Computer 模型从自己的错误里学习，A/B 测试里工具调用失败率降了 21.2%，做法挺值得看看的。

Suhail@Suhail原文

Perplexity 公开了他们训练 Computer 智能体的后训练细节，用 RFT 加自蒸馏纠正错误工具调用，实测失败率降了 21%，做 agent 的话值得看看他们怎么用真实用户会话。

Aravind Srinivas@AravSrinivas原文

英伟达新出的Nemotron后训练技术，能快速让大模型适应新任务，比传统微调更快更省资源。

官方账号NVIDIA AI@NVIDIAAI原文

工业LLM维护团队必读，教你如何在有限资源下提升模型性能，数据工程比一次性配方更重要。

了解国产模型如何通过扎实预训练和后训练达到高水平，以及蒸馏在数据收集中的作用。

向阳乔木@vista8原文

OpenAI做了关于大模型后训练的研究，能分析训练策略问题，和以前方法比效果不一样。

搞 VLM 后训练的人可以看看：Rollplex 把前缀计算塞进解码窗口，32 张 H800 上最高提速 2.24 倍。