主要来源vLLM
查看原文事件专题 ·多源确认
ReplaySSM 优化 Mamba2 推理：vLLM 支持 SSM 输入缓存与 MTP
vLLM 宣布支持 Mamba2 的标准 decode 和基于 FlashInfer 的 MTP（multi-token prediction）。ReplaySSM 通过缓存 SSM 输入并仅在必要时更新 checkpoint，降低 recurrent-state 的内存流量。该项目由 @zwljohnny、@tri_dao 与 NVIDIA 合作完成，相关支持已合入 vLLM。
当前结论
vLLM 和 NVIDIA 把 Mamba2 的解码内存开销压下来了，用 SSM 状态模型跑长文本的可以升级试试。
6 个信源52° AI 热度最后更新 2026/10/13 04:35:54
证据链
6 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。