模型精选

DSpark 投机解码方案落地 vLLM,提升 Kimi K3.1 Pro 接受长度并限制草稿 KV 内存

精选理由

Kimi K3.1 Pro 用户在 vLLM 上白捡一段推理加速,长上下文场景下草稿内存还不会爆。做推理部署的工程师可以看看权重和配置是否适配自家服务。

Inferact 与 RedHat AI Speculators 团队联合 vLLM 发布 DSpark,面向 Kimi K3.1 Pro 的投机解码加速。在 HumanEval 基准上,DSpark 相比预览版将接受长度提升最高 30%,对比配置为 k=7、temperature 1.0、top_p 0.95,接受长度含 bonus token。

正文

技术上,DSpark 在每个草稿层引入 2K 滑动窗口,使草稿模型在 1M token 长上下文下 KV 内存仍然有界,避免内存随上下文无限膨胀。配套的 vLLM 重构版 KV 管理支持 P/D 分离和多种并行配置,让滑动窗口草稿模型能够进入生产环境部署。

权重和 vLLM 配置文件已随发布开源,开发者可直接在 vLLM 推理栈上复用这套投机解码方案。

原文 · vLLM

More accepted tokens. Bounded draft KV memory. 🔥

The new DSpark for @Kimi_Moonshot’s Kimi K3.1 Pro, jointly developed by @Inferact and the @RedHat_AI Speculators team with vLLM + Speculators, brings:

• Up to 30% higher acceptance length vs. the preview (HumanEval). • A 2K sliding window in every draft layer, keeping draft KV memory bounded even at 1M-token context.

Efficient draft architectures need an inference stack that can serve them. vLLM’s redesigned KV management supports P/D disaggregation and different parallelism configurations, bringing sliding-window draft models into production.

Comparison: DSpark k=7, temperature 1.0, top_p 0.95. Acceptance length includes the bonus token.

Weights + vLLM config below. 👇

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Kimi、Kimi K3.1 Pro、vLLM、投机解码,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「vLLM」(@vllm_project),经 AITOP 多维评分管线结构化提炼。