LAGA 是大模型训练框架 Megatron-Core 中针对 MLA（Multi-head Latent Attention）吸收模式被禁用问题而提出的一种内存优化修复方案，用于在长序列训练场景下降低 KV Cache 带来的显存占用。它出现在社区对 Megatron-Core 训练内存行为的讨论中，属于推理与训练显存管理这一细分技术方向。
LAGA 的近期进展
根据 arXiv 上的技术分析文章，训练内存回归：Megatron-Core禁止MLA吸收模式的原因及LAGA修复 梳理了这一问题的来龙去脉：DeepSeek 系列模型采用的 MLA 架构本可以通过“吸收模式”压缩 KV Cache，从而在长上下文训练中显著节省显存，但 Megatron-Core 出于数值一致性等方面的考虑禁用了该模式，导致训练时显存出现回归式上涨。LAGA 作为一种替代性修复思路被提出，试图在不重新启用吸收模式的前提下恢复内存效率。
该文章指出，这一修复的核心矛盾在于：吸收模式虽然省显存，但会改变注意力计算的数值路径，可能影响训练稳定性与结果复现性。LAGA 方案需要在这两者之间取得平衡，这也是目前社区评估其可行性的主要角度。
当前焦点与观察点
目前围绕 LAGA 的讨论仍集中在几个问题上：其一，修复方案在多大序列长度和批量规模下才能真正体现显存优势；其二，它是否会对训练吞吐产生额外开销；其三，这类改动是否会被合入上游 Megatron-Core 主线，还是仅停留在补丁层面。
需要说明的是，"LAGA" 一词在体育语境中另有含义——印尼语中 laga 意为“比赛”，常出现在足球与电竞赛事报道的标题里，例如阿根廷队相关比赛或 MPL 印尼赛区赛程的新闻。因此在检索该词时，应注意区分大模型训练技术语境与印尼体育资讯语境，避免混淆。对于关注 DeepSeek 架构与训练显存优化的读者而言，以 arXiv 论文和 Megatron-Core 官方仓库的后续更新为准更为可靠。