技巧精选
vLLM 发布位级一致方案：让 Agent RL 训练中的 rollout 与训练完全一致
精选理由
vLLM 出了个新方案，让 RL 训练时采样和训练算出来完全一致，做 Agent 强化学习的开发者可以看看省坑。
vLLM 团队在新博客中指出，同一权重经不同推理优化后算出的 logprobs 会不同，导致 RL 训练时 rollout 与训练重算结果不一致。团队实现了 rollout 与训练的位级一致（bitwise-identical），同时保留高性能推理路径。该方案面向 Agent 驱动的 RL 训练，可加快训练收敛速度。
原文 · vLLM
1/ 🚀 New on the vLLM blog: Finish RL Training Faster — Bitwise-Consistent, High-Performance, Agent-Driven
Same weights don't guarantee the same policy: inference optimizations can change the logprobs that training recomputes.
We make rollout and training bitwise identical while retaining high-performance inference paths. Here's how 🧵
https://t.co/MRwfLSFKad
