论文官方一手

像物理学家一样剪枝 LLM:把删 Block 变成 Ising 优化问题

Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem

精选理由

Multiverse Computing 把“LLM 该删哪些层”写成 Ising 模型用物理方法解,比逐层打分剪枝的思路新鲜。

Multiverse Computing 的团队把 LLM 剪枝重写成一个 Ising 优化问题:Transformer 的每个 block 对应一个自旋,去留由系统能量最小化决定。与按重要性分数逐层打分的常规剪枝不同,Ising 视角把“删哪些 block”当成一次全局组合优化来求解。文章给出了从构建 Ising 哈密顿量到实际删除 block 的完整推导,教程发布在 Hugging Face。

图片来源 · Hugging Face: Blog