小米 MiMo 团队发布 HySparse2 注意力架构
小米 MiMo 团队搞了个新注意力架构，1M 上下文时 prefill 计算量和 KV cache 都砍到原来的几分之一，长文检索分数还涨了，做长上下文部署的可以看看论文。
#MiMo-V3
共 3 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「MiMo-V3」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月24日
小米发布 HySparse2：两级 KV 共享让 MiMo-V3 长上下文预填充计算量降约 5 倍
小米 LLM-Core 团队搞了个 HySparse2 稀疏注意力，1M token 预填充计算量降约 5 倍，做长上下文的可以看看。
9月23日
罗福莉官宣小米 MiMo-V3 将采用全新架构，HySparse 2 同日发布
小米把 1M 长上下文的预填充成本砍掉 5 倍，KV 缓存也小了 4.5 倍，跑智能体任务的人可以看看这套 HySparse 2 架构。