腾讯优图发布 Qwen3.8-27B-DSpine-b16 草稿模型,投机解码加速达 3 倍
腾讯优图把投机解码从 1.6 倍卷到了 3 倍,805 tps 的实测数据摆在那。自己搭推理服务、被吞吐成本折磨的工程团队可以直接下下来跑 benchmark,用 Qwen3.8 的话基本是白捡的提速。
腾讯优图把投机解码从 1.6 倍卷到了 3 倍,805 tps 的实测数据摆在那。自己搭推理服务、被吞吐成本折磨的工程团队可以直接下下来跑 benchmark,用 Qwen3.8 的话基本是白捡的提速。