#MLA

共 7 条 · 7 天 1 条 · 30 天 2 条

信息流里打上「MLA」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月16日

论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。

arXiv: DeepSeek@Shiyu Ji 等 7 人原文

10月6日

做长上下文推理的可以看看，这篇把 MLA 的共享思路搬进稀疏注意力索引，缓存省了 61%，速度还能快两倍多。

arXiv: DeepSeek@Zhaohui Wang 等 4 人原文

7月28日

论文精选11:35

想看MLA到底怎么工作的？这篇论文用114M模型做实验，发现cKV只记内容不记位置，还能省81%缓存，归纳头也全挤在一层，挺有意思的。

arXiv: DeepSeek@Dhruvil S 等 3 人原文

7月21日

论文精选73°11:42

这篇论文解释了为什么Megatron-Core的MLA吸收模式在训练时会导致内存暴增，还给出了一个叫LAGA的修复方法，通信更省，速度和内存几乎没损失。

arXiv: DeepSeek@Changzheng Ma原文

6月2日

论文72°12:05

做大规模 LLM 推理部署的团队，这篇论文给出了跨 GPU 注意力优化的新思路——路由查询而非移动缓存，实测能大幅降低延迟。建议关注其成本模型和决策谓词，可直接用于优化自家推理系统。

arXiv: DeepSeek@Bole Ma 等 4 人原文

5月29日

论文精选11:05

视频生成团队终于有了解决长序列KV缓存内存爆炸的方案——VideoMLA将内存减少92.7%且不牺牲质量，做长视频扩散的开发者可以直接在B200上试，吞吐量提升1.23倍。

arXiv cs.AI@Hidir Yesiltepe 等 7 人原文

5月23日

论文官方一手17:52

想低成本在 Colab 里跑循环深度 Transformer 的研究者可以直接上手——OpenMythos 把 MLA、GQA、稀疏 MoE 这些前沿结构打包成了可复现的教程，做注意力机制或推理效率优化的团队值得点开。

官方一手marktechpost@Sana Hassan原文