GRAM 是一种面向大语言模型的低比特 n-gram 嵌入表存储方法,目标是在不显著损失效果的前提下大幅压缩 n-gram 记忆表占用的显存。它属于近期「显式记忆 + 压缩存储」这条技术路线的代表工作之一,与 DeepSeek 相关的记忆表压缩、条件记忆更新等研究处于同一波讨论中。
GRAM 的近期进展
当前焦点与观察点
GRAM 及其相关工作指向的共同问题是:当模型引入显式 n-gram 记忆后,表本身会变成新的存储瓶颈,因此低比特化、条件压缩、免反传写入等方向几乎同时出现。值得观察的点包括:低比特存储在下游任务上的精度损失是否可控;免反传的持续写入是否会带来类似 Forking: Sudden Overfitting Under Replay 中描述的回放过拟合风险;以及这类记忆机制何时能进入 DeepSeek V4.1 Flash 这类已支持 n-gram 块编辑 的量产模型。总体看,GRAM 是该路线中偏工程落地的存储层方案,其实际收益仍待更大规模训练与推理场景验证。