模型合并相关 AI 资讯 · AITOP

9月3日

12:14

官方账号arXiv cs.AI@Kushagra Bhushan, Meghanadh Pulivarthi, Sai Krishna Reddy Sathi, Gaurav Pandey, Sonam Gupta, Vineet Kumar, Jaydeep Sen, Yatin Nandwani, Sachindra Joshi, Dinesh Raghu

精选73°

DKL是一种新方法，通过在基础语言模型上进行扩展预训练来注入新知识，然后与指令模型合并。实验显示，在检索失败情况下，DKL将RAG准确率从54.17提升至79.26。该方法避免了昂贵的指令微调，仅需较少训练数据即可实现知识注入。

论文 DKL RAG Instruct LLM

推荐理由：DKL解决了RAG检索失败时的问题，比RAFT和PA-RAG方法更高效，还能保持指令模型的指令跟随能力。

原文

8月31日

11:41

官方账号arXiv cs.LG@Aaryan Ajay Sharma, Sai Nishanth Padala, Seganrasan Subramanian

精选73°

DARTS是一种针对解码器模型表示偏差的调优方法。该方法解决了解码器模型中因果注意力掩码导致的偏差累积问题，以及高熵位置比低熵位置更重要的挑战。研究团队在Llama-2-7B模型上进行了测试，在HumanEval、GSM8K和AlpacaEval三个基准上表现优异。

论文 DARTS Llama-2-7B 模型合并

推荐理由：DARTS解决了模型合并中的表示偏差问题，只需增加0.1%参数就能显著提升多任务性能。

原文

7月20日

09:18

官方账号arXiv cs.AI@S. Aaron McClendon

研究首次将模型合并与联合多任务训练在强化学习场景下直接对比。使用Qwen3-8B专才在AppWorld智能体基准上通过LOOP训练难度1和难度2任务，合并方法（TIES、RAM+）与联合训练模型相比，任务目标完成率无统计差异。任务向量余弦相似度仅0.06-0.10，近正交但支撑集重叠约65%，导致支持&符号合并退化为近均匀平均。所有代码和统计数据已开源。

论文 Qwen3-8B AppWorld TIES

推荐理由：这篇论文用Qwen3-8B做了AppWorld上的合并vs联合训练对比，发现合并效果不输联合训练，而且解释了为什么不同合并方法结果差不多。

原文

6月23日

12:49

官方账号arXiv cs.LG@Tianyi Li, Zhiqiang Shen

现有线性模式连通性方法通常只从一个模型端点优化插值路径，难以扩展到大型Transformer。我们提出新框架，应用功能保持的权重变换对齐等价解，并让两个模型双向学习向共享线性插值路径的变换。双向优化大幅减少插值障碍，在中等参数规模语言模型上实现了WikiText近零损失屏障（首次展示该规模下近无屏障线性连通）。视觉领域ViT-L在插值路径上保持ImageNet top-1准确率超69%，十亿参数LLM只表现出小损失屏障。这些结果表明解决参数对称性能使大预训练Transformer通过简单线性路径连通和合并。

AI模型 Linear Mode Connectivity Transformer 模型合并

推荐理由：新方法让十亿参数Transformer通过双向学习实现线性合并，损失屏障极低，视觉和语言模型都验证有效。

原文

10:46

官方账号arXiv cs.LG@Jungyong Son, Jinwook Jung, Sungyong Baik

SiM通过奇异值分解（SVD）为每个任务构建低秩流形，利用测试输入特征在任务流形上的投影残差进行无训练路由。仅需每个任务32个样本的支撑集即可离线预计算流形，合并过程无需额外数据。在计算机视觉和自然语言处理基准上，任务未知推理场景下SiM显著提升合并模型性能，持续缩小与独立专家模型的差距。该方法无需存储完整专家参数，兼容子空间/掩码合并。

论文 SiM 多任务模型合并无训练路由

推荐理由：这篇论文提出了SiM方法，不用额外训练就能动态路由多任务模型，只用少量样本预计算，效果逼近独立专家。

原文