主要来源karminski-牙医 (AI工具)
查看原文事件专题 ·单一信源
腾讯优图发布 Qwen3.8-27B-DSpine-b16 草稿模型,投机解码加速达 3 倍
腾讯优图在 HuggingFace 上发布了 Qwen3.8-27B-DSpine-b16 草稿模型,将投机解码的加速倍数从原先 MTP 方案的约 1.6 倍提升到 3 倍。官方实测吞吐达到 805 tps(8 并发),速度提升幅度是目前公开方案中较高的一档。 从技术细节看,该模型基于 Qwen3.8-27B 适配,草稿模型命名中的 b16 指向 16 层的精简结构。官方虽未公布测试所用硬件,但代码中使用了 FlashAttention 3,说明推理环境大概率是 Hopper 架构的 GPU(如 H100/H20 一类)。 投机解码的草稿模型质量直接决定大模型推理的接受率和加速上限,此前 MTP 类方案普遍停留在 1.6 倍左右。这个 27B 规模的草稿模型若验证可复现,对自建推理服务的团队来说等于免费拿到接近翻倍的吞吐,值得拿自己的业务流量实测对比。
当前结论
腾讯优图把投机解码从 1.6 倍卷到了 3 倍,805 tps 的实测数据摆在那。自己搭推理服务、被吞吐成本折磨的工程团队可以直接下下来跑 benchmark,用 Qwen3.8 的话基本是白捡的提速。
2 个信源47° AI 热度最后更新 2026/11/10 00:03:19
证据链
2 个信源相关来源 1Epoch AI
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。