SVD-Attention：用 SVD 分解诊断 Transformer 注意力头的低秩冗余
arXiv 上一篇分析工具论文，用 SVD 拆开注意力头看哪些层真有冗余，还能和剪枝叠起来省 8-11% 推理计算。
#SVD-Attention
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「SVD-Attention」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月27日
arXiv 上一篇分析工具论文，用 SVD 拆开注意力头看哪些层真有冗余，还能和剪枝叠起来省 8-11% 推理计算。