arXiv 论文提出免训练权重烘焙方法,用拓扑描述符改写 LLM 前馈层
一篇挺有意思的方法论文:不用梯度训练,靠拓扑描述符加岭回归直接改 LLM 前馈层权重。126 次运行验证纯度提升、基准不掉点。做模型编辑或可解释性研究的可以看看这套免训练基线。
一篇挺有意思的方法论文:不用梯度训练,靠拓扑描述符加岭回归直接改 LLM 前馈层权重。126 次运行验证纯度提升、基准不掉点。做模型编辑或可解释性研究的可以看看这套免训练基线。
做了模型编辑以为知识删干净了?这篇论文证明一句提示词就能恢复八成被编辑的事实。做安全审计或部署“已删除知识”模型的团队都得看看这个方法。
新方法TFTVs让LLM行为控制无需微调,支持加法学习减法遗忘,比传统方法更好保留模型能力。
这篇论文搞了个医学VLM模型编辑的测试基准M3Bench,有1.6万多个问题,测了6个模型和4种编辑方法,发现各有各的坑,想搞懂模型编辑在医学领域行不行得通可以看。