HySparse2是小米MiMo团队最新发布的注意力架构，专门优化长程多轮Agent推理效率。这一架构在2024年被推出，旨在提升AI模型处理复杂任务的能力。
HySparse2 近期进展
2024年，小米MiMo团队正式发布了HySparse2注意力架构，这是继HySparse之后的重大升级。根据IT之家报道，小米公开 MiMo-V3 核心架构 HySparse2，优化长程多轮 Agent 推理效率，这一架构特别针对长程多轮Agent推理任务进行了优化。小米研究人员罗福莉在社交媒体上宣布，MiMo-V3将采用全新架构，HySparse2同日发布。据shao__meng在X平台上的消息，小米 MiMo 团队发布 HySparse2 注意力架构，标志着小米在AI模型架构领域的又一重要突破。
当前焦点与观察点
HySparse2架构的推出反映了AI领域对高效注意力机制的持续探索。与传统的注意力机制相比，HySparse2通过优化稀疏计算模式，显著降低了长序列处理时的计算复杂度。业界关注点在于HySparse2在实际应用中的表现，特别是在长程多轮对话场景下的效率提升。小米将这一架构应用于MiMo-V3模型，表明其在AI推理效率优化方面的技术积累。
从技术趋势来看，稀疏注意力机制正成为大模型发展的重要方向，HySparse2的发布可能引领更多企业关注计算效率与模型性能的平衡。