事件专题 ·官方一手

Adaptive DHiSparse:支持推测解码的自适应KV层次结构

Adaptive DHiSparse是一种新的长上下文 serving 技术,支持在分层稀疏KV上进行推测解码。在100K上下文和128并发条件下,GLM-5.3配合DFlash2实现每解码GPU 793个输出token/s,性能是HiSparse的1.45倍。在相同延迟限制下,它能维持高达4倍的并发量和2.3-3.7倍的输出量。在DeepSeek-V4.1-Flash的500K上下文和512并发测试中,使用DSpark的Adaptive DHiSparse输出量是驻留式服务的1.85倍。

当前结论

清华团队推出Adaptive DHiSparse,让长上下文模型在KV内存不足时仍能高效运行,性能提升最高达3.7倍。

6 个信源41° AI 热度最后更新 2026/10/9 15:02:35

证据链

6 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。