D-REAL：用无偏梯度优化投机解码接受长度
投机解码的 drafter 训练一直缺一个对齐接受长度的目标函数，这篇论文把它做成了无偏梯度估计器。在 Qwen3-8B 上十个基准验证，一个 epoch 就有 9.4% 吞吐提升。做推理优化的工程师值得照着复现。
#D-REAL
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「D-REAL」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月10日
投机解码的 drafter 训练一直缺一个对齐接受长度的目标函数，这篇论文把它做成了无偏梯度估计器。在 Qwen3-8B 上十个基准验证，一个 epoch 就有 9.4% 吞吐提升。做推理优化的工程师值得照着复现。