Reuse技术在AI领域正成为提升模型效率的关键方法，特别是在大规模语言模型推理过程中。近期，多家研究机构和企业推出了基于Reuse理念的新型架构，旨在减少计算资源消耗同时保持模型性能。
Reuse 近期进展
2024年，小米公开了MiMo-V3核心架构HySparse2，小米公开 MiMo-V3 核心架构 HySparse2，优化长程多轮 Agent 推理效率。这一架构通过优化注意力机制，显著提升了长程多轮Agent推理效率，为AI助手等应用场景提供了更高效的技术支持。
小米MiMo团队随后进一步发布了HySparse2注意力架构细节，小米 MiMo 团队发布 HySparse2 注意力架构。该架构通过创新的参数重用机制，在保持模型性能的同时大幅降低了计算复杂度。
DeepSeek研究团队在arXiv上发表了PIVOT方法，PIVOT：令牌级稀疏注意力的高效查询组索引方法。该方法通过令牌级稀疏注意力和高效查询组索引，实现了计算资源的智能重用，为大规模模型推理提供了新思路。
当前焦点与观察点
Reuse技术的核心价值在于解决AI模型日益增长的资源需求与有限计算能力之间的矛盾。当前，研究人员正探索更多样化的重用策略，包括参数重用、计算重用和内存重用等。值得注意的是，Reuse技术并非简单地减少计算量，而是在保证模型性能的前提下实现资源的最优配置。随着AI应用的普及，Reuse技术有望成为标准配置，推动AI技术在更多场景中的落地应用。