模型精选

腾讯优图发布 Qwen3.8-27B-DSpine-b16 草稿模型,投机解码加速达 3 倍

精选理由

腾讯优图把投机解码从 1.6 倍卷到了 3 倍,805 tps 的实测数据摆在那。自己搭推理服务、被吞吐成本折磨的工程团队可以直接下下来跑 benchmark,用 Qwen3.8 的话基本是白捡的提速。

腾讯优图在 HuggingFace 上发布了 Qwen3.8-27B-DSpine-b16 草稿模型,将投机解码的加速倍数从原先 MTP 方案的约 1.6 倍提升到 3 倍。官方实测吞吐达到 805 tps(8 并发),速度提升幅度是目前公开方案中较高的一档。

正文

从技术细节看,该模型基于 Qwen3.8-27B 适配,草稿模型命名中的 b16 指向 16 层的精简结构。官方虽未公布测试所用硬件,但代码中使用了 FlashAttention 3,说明推理环境大概率是 Hopper 架构的 GPU(如 H100/H20 一类)。

投机解码的草稿模型质量直接决定大模型推理的接受率和加速上限,此前 MTP 类方案普遍停留在 1.6 倍左右。这个 27B 规模的草稿模型若验证可复现,对自建推理服务的团队来说等于免费拿到接近翻倍的吞吐,值得拿自己的业务流量实测对比。

原文 · karminski-牙医 (AI工具)

我以为投机解码这块已经卷到头了, 没想到腾讯又整出了新活. 腾讯优图刚在 HuggingFace 上放出了 Qwen3.8-27B-DSpine-b16 这个新草稿模型. 直接从原来 MTP 加速的1.6倍左右提升到了3倍. 官方测试来到了 805 tps (8并发). 官方没说是什么卡, 但是从用的 FlashAttention 3 来看应该是 Hopper 架构的卡.

他是怎么做到的的呢?

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Qwen3.8、投机解码、腾讯优图、FlashAttention,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「karminski-牙医 (AI工具)」(@karminski3),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 2 家独立信源对该事件进行交叉印证与跟进报道(含 Epoch AI 等),属于近期高关注度行业信号。