事件专题 ·单一信源

Delta N-gram:无需反向传播的模型 N-gram 记忆持续写入方法

Delta N-gram 提出一条 forward-only 的写入路径,把证据写进模型原生哈希 N-gram 表的稀疏补丁 Δ,预训练表 T^0 完全不被修改。清空 Δ 即可恢复原始模型,写入只需前向传播,不需要反向传播。在 0.6B 原型上,第二次写入后问答仍记住 16/16 条事实,而在线梯度写入只剩 2-4/16。在 Qwen3.8-Flash-Next 上,delta writer 在干扰文章后仍保留 70% 的记忆,plain writer 为 54%;3.5 万次连续写入后准确率仅变化 -0.26/-0.52pp,而梯度更新为 -7.29pp。

当前结论

论文提出往模型 N-gram 表里“只前向写入”新知识,不用反传,删掉补丁就能还原原模型,持久性比梯度写入强很多。

2 个信源38° AI 热度最后更新 2026/10/22 11:42:49

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。