ReplaySSM 优化 Mamba2 推理：vLLM 支持 SSM 输入缓存与 MTP
精选理由
vLLM 和 NVIDIA 把 Mamba2 的解码内存开销压下来了，用 SSM 状态模型跑长文本的可以升级试试。
vLLM 宣布支持 Mamba2 的标准 decode 和基于 FlashInfer 的 MTP（multi-token prediction）。ReplaySSM 通过缓存 SSM 输入并仅在必要时更新 checkpoint，降低 recurrent-state 的内存流量。该项目由 @zwljohnny、@tri_dao 与 NVIDIA 合作完成，相关支持已合入 vLLM。
原文 · vLLM
Great work from @zwljohnny, @tri_dao, and @NVIDIA on ReplaySSM! Mamba2 standard decode and FlashInfer-backed MTP support are already in vLLM, reducing recurrent-state memory traffic by caching SSM inputs and updating the checkpoint only when needed.
