tree-grams:层次化 n-gram 模型成为可控的语言近似器
搞理论或调参的人可以看看这篇:tree-grams 让你能像拧旋钮一样控制语言模型的上下文长度和容量,用它生成可控数据做 μP 超参迁移实验,比直接在大语料上试更稳。还能剪掉 95% 的拓扑不损性能,思路对构建小型可解释模型也有启发。
搞理论或调参的人可以看看这篇:tree-grams 让你能像拧旋钮一样控制语言模型的上下文长度和容量,用它生成可控数据做 μP 超参迁移实验,比直接在大语料上试更稳。还能剪掉 95% 的拓扑不损性能,思路对构建小型可解释模型也有启发。
DeepSeek 的 n-gram 表动辄上千亿参数,这篇论文用 4 比特量化砍掉四分之三内存,性能几乎不掉,做本地部署的可以看看。
arXiv 上的新压缩论文,把 DeepSeek 的 203GB 查找表压到 51GB,做量化或本地部署的可以看看思路。
DeepSeek让模型能像编辑文档一样添加新知识,几MB就能更新事实,比传统微调便宜多了。
Deep学习又发现新现象'分叉',比Grokking和Double Descent还奇怪,AutoResearch agents的技巧可能带来意外副作用。