GRAM

general · 首次出现 2026-05-22 · 最近出现 2026-10-23 · 累计提及 73

综述

GRAM 是一种面向大语言模型的低比特 n-gram 嵌入表存储方法,目标是在不显著损失效果的前提下大幅压缩 n-gram 记忆表占用的显存。它属于近期「显式记忆 + 压缩存储」这条技术路线的代表工作之一,与 DeepSeek 相关的记忆表压缩、条件记忆更新等研究处于同一波讨论中。

GRAM 的近期进展

  • 论文提出低比特存储 n-gram 嵌入表,可节省约 75% 表内存:GRAM 的核心做法是把 n-gram 嵌入表以低比特形式存储,论文声称相比常规方案可节省约 75% 的表内存,这是它最主要的卖点。
  • Delta N-gram:无需反向传播的模型 N-gram 记忆持续写入方法:配套的写入侧研究提出无需反向传播即可持续写入 n-gram 记忆的方案,与 GRAM 的存储压缩形成「写入 + 存储」的组合。
  • Conditional Program 压缩法:DeepSeek 记忆表存储从 203GB 降到 51GB:同期的 DeepSeek 记忆表压缩工作把存储从 203GB 降至 51GB,压缩比接近 4:1,说明记忆表存储开销已是行业共同痛点。
  • EngramEdit:基于条件记忆实现 LLM 知识解耦更新:在更新侧,EngramEdit 探讨通过条件记忆对 LLM 知识做解耦修改,反映 n-gram/记忆表路线正从「能存」走向「可编辑」。
  • 当前焦点与观察点

    GRAM 及其相关工作指向的共同问题是:当模型引入显式 n-gram 记忆后,表本身会变成新的存储瓶颈,因此低比特化、条件压缩、免反传写入等方向几乎同时出现。值得观察的点包括:低比特存储在下游任务上的精度损失是否可控;免反传的持续写入是否会带来类似 Forking: Sudden Overfitting Under Replay 中描述的回放过拟合风险;以及这类记忆机制何时能进入 DeepSeek V4.1 Flash 这类已支持 n-gram 块编辑 的量产模型。总体看,GRAM 是该路线中偏工程落地的存储层方案,其实际收益仍待更大规模训练与推理场景验证。

    相关报道

    10 条在档