小米发布 HySparse2:两级 KV 共享让 MiMo-V3 长上下文预填充计算量降约 5 倍
Xiaomi Details HySparse2 for MiMo-V3: Two-Level KV Sharing Cuts 1M-Token Prefill FLOPs About 5× vs Hybrid SWA
小米 LLM-Core 团队搞了个 HySparse2 稀疏注意力,1M token 预填充计算量降约 5 倍,做长上下文的可以看看。
小米 LLM-Core 团队公开了 HySparse2,这是一种面向 MiMo-V3 这类智能体模型设计的混合稀疏注意力方案,核心是两级 KV 共享。
在一个 80B-A3B 的 MoE 模型上,处理 1M token 的预填充 FLOPs 相比 Hybrid SWA 降低约 5 倍。该设计针对超长上下文场景下的计算开销问题,属于注意力架构层面的优化。
Xiaomi Details HySparse2 for MiMo-V3: Two-Level KV Sharing Cuts 1M-Token Prefill FLOPs About 5× vs Hybrid SWA
Xiaomi's LLM-Core team published HySparse2, a hybrid sparse-attention design with two-level KV sharing aimed at MiMo-V3-class agentic models, reporting about 5× lower 1M-token prefill FLOPs versus Hybrid SWA on an 80B-A3B MoE.
本条情报归属 AITOP「论文」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:MiMo-V3、HySparse2、小米、稀疏注意力,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始信息发布自一手权威信源「pandaily」(Tier-1 一手发布),具备高确定性参考价值。截至目前,全网已有 3 家独立信源对该事件进行交叉印证与跟进报道(含 IT之家、shao__meng 等),属于近期高关注度行业信号。