Sparse（稀疏化）是当前 AI 领域的核心技术路线之一，指通过让大模型在计算时只激活或保留部分参数、注意力或特征，来降低算力开销并提升可解释性。它既体现在主流开源模型普遍采用稀疏 MoE（混合专家）架构，也体现在稀疏注意力、稀疏表征分析等研究方向的持续演进。
Sparse MoE 模型的近期发布
稀疏混合专家架构已成为大模型开源的主流选择。MiniMax 开源了 M3.1 Flash 权重，总参数量 428B，每次推理仅激活 23B，体现了“大容量、小激活”的稀疏设计思路。阶跃之星（StepFun）也开放了 Step 5 Preview 权重，总参数 600B、激活 27B，采用 92 层稀疏 GQA 结构，并支持 100 万 token 上下文。这类模型的共同特点是：以极低的单次激活比例换取接近稠密大模型的能力。
Sparse 在注意力与可解释性上的研究进展
除模型架构外，sparse 思路正被应用于多个细分方向。图像生成领域出现了 MC-Sparse 框架，无需重新训练即可对 DiT 模型做稀疏注意力加速，目标是缩小稠密与稀疏推理之间的性能差距。可解释性研究方面，ConSDL 提出用稀疏编码替代稀疏自编码器（SAE）中的线性编码器，以改善跨随机种子的一致性问题；另有 SAE 对比研究显示，Mamba 与 Pythia 两类架构的潜在表征对齐度达 99.98%，为理解稀疏特征在不同模型间的通用性提供了证据。理论侧则有工作构建了差分隐私约束下的稀疏 RLHF 奖励估计框架。
当前焦点与观察点
Sparse 技术当前的争议主要集中在三点：一是稀疏 MoE 模型虽然激活参数少，但对显存和专家路由调度的要求仍然很高，实际部署成本是否真正下降仍需验证；二是稀疏注意力在长上下文场景中可能遗漏关键 token，稠密与稀疏推理的质量差距尚未完全消除；三是在可解释性方向，SAE 与新兴稀疏编码方法（如 ConSDL）孰优孰劣还在早期探索阶段。值得观察的后续节点包括：更多厂商是否跟进稀疏 GQA 等结构、稀疏注意力方案在生成式图像模型中的落地效果，以及稀疏特征分析能否成为模型对齐研究的标准工具。