论文Agent 与开发者13:21线性 ViT 初始化新方法：复制 MLP 权重、蒸馏注意力想让线性 ViT 免去从头预训练？这篇告诉你直接复制 MLP 权重再蒸馏注意力就能追平 Softmax 版本，方法很实用。#Vision Transformer#线性注意力#知识蒸馏#预训练权重aarXiv cs.LG@Huaiyuan Qin 等 12 人原文稍后读已读值得跟进有用关注 Vision Transformer