论文精选
STAPLE 方法：给预训练模型做低成本稀疏升级
精选理由
一个论文梗：不用重训，往现成模型的 FFN 里塞个 embedding 就能稀疏升级，省钱省时间，做训练的人可以看看
STAPLE 提出一种稀疏升级（upcycling）方法，在已有预训练 checkpoint 的 FFN up-proj 中加入 token 索引的 embedding 模块。相比 Engram 式做法，它不需要从头训练稀疏层，能以更低成本、更快速度把稠密模型改造成带稀疏专家的结构。方法是加法式改造，原有权重保持不变。
原文 · Teortaxes
You can in fact just Engram-augment a pretrained checkpoint. STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules (well, fine. not quite. it adds a token-indexed embedding to the up-proj inside the existing FFN. cheaper, faster sparse upcycling) https://t.co/WyxK5TMqnF
