模型精选
AWS 发布 priming 方法，将 Transformer 权重转换为混合架构模型
精选理由
AWS 把现成 Transformer 权重改造成稀疏注意力混合模型，成本不到原训练的 1%，吞吐量翻倍，8B 和 32B 版本已放出。
AWS 研究团队推出名为 priming 的方法，复用预训练 Transformer 权重构建混合架构模型（采用稀疏注意力或状态空间层）。该方法将训练成本降至原训练成本的 1% 以下，转换后的模型在吞吐量上提升 2 倍、内存占用减半，质量保持不变。团队同步开源了 8B 和 32B 两个规模的模型。
原文 · Amazon Science
Same quality, twice the throughput, half the memory. Hybrid models increase LLM efficiency with mechanisms like sparse attention or state space layers. New AWS research introduces "priming," which reuses pretrained Transformer weights to build these hybrids at less than 1% of the original training cost. 8B and 32B models released. https://t.co/qvG8Yx6jcK
