论文提出低比特存储 n-gram 嵌入表，可节省约 75% 表内存

arXiv 论文研究了语言模型中 n-gram 嵌入表（如 DeepSeek-V4.1-Flash 的 Engram，占用 1960 亿参数）的量化压缩。在 nanochat、Llama 和 GPT-2 系列从零训练的模型上，4 比特表节省约 75% 表内存，同时保留 99% 以上的验证损失改善。在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上，低比特表节省 47-55% 表内存，困惑度增加不到 1.2%。节省的内存重新投入更大的表，还能在更少内存下超越原始全精度表的性能。