技巧精选
Speculators v0.9.0 发布：训练速度提升 2 倍，FP8 后端存储减半
精选理由
做投机解码训练的朋友看下：Speculators 0.9.0 前向训练快 2 倍，FP8 后端存储省一半，训完还能直接进 vLLM。
vLLM 项目与 Red Hat AI 推出 Speculators v0.9.0。该版本通过融合损失核（fused loss kernel）将前向训练过程加速最高 2 倍。新增的 FP8 隐藏状态后端把存储占用降低 50%，且无质量损失。训练好的 speculator 模型可在 vLLM 中直接部署推理。
原文 · vLLM
Speculators v0.9.0 is out — faster, lighter speculative decoding training 📷
Up to 2x faster forward training passes with a fused loss kernel, plus an FP8 hidden-state backend that cuts storage 50% with no quality loss.
Train better speculators, serve them in vLLM. Great work @RedHat_AI 📷
