#Mamba2

共 3 条 · 7 天 1 条 · 30 天 1 条

FlashInfer 1 KV缓存 1 Qwen 1 ReplaySSM 1 vLLM 1 Windowed-MTP 1 投机解码 1 推理优化 1

信息流里打上「Mamba2」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月13日

模型 Agent 与开发者多源确认精选12:37

ReplaySSM 优化 Mamba2 推理：vLLM 支持 SSM 输入缓存与 MTP

vLLM 和 NVIDIA 把 Mamba2 的解码内存开销压下来了，用 SSM 状态模型跑长文本的可以升级试试。

#vLLM #Mamba2 #ReplaySSM #FlashInfer

官方账号vLLM@vllm_project10 个信源在谈原文

7月24日

论文中美对照11:54

Windowed-MTP：消除百万token上下文中的全上下文草稿KV负担

这篇论文解决了长上下文下投机解码的瓶颈，用滑动窗口草稿省掉99%的KV读取，实测速度提升近三成，而且不损失精度。搞大模型推理优化的值得看。

#Windowed-MTP #投机解码 #KV缓存 #Qwen

arXiv cs.LG@Alagappan Valliappan原文

6月12日

模型官方一手16:13

Zyphra 发布 Zamba2-VL：混合 Mamba2-Transformer 视觉语言模型，首 token 延迟降低约一个数量级

做视觉语言模型部署或实时推理的开发者，Zamba2-VL 的首 token 延迟优势能显著提升用户体验，值得直接尝试。

#视觉语言模型 #Mamba2 #Transformer #开源/仓库

官方一手marktechpost@Asif Razzaq原文