AITOPAI热报

知识注入

共 5 条相关 AI 资讯
9月3日
12:14
12:14官方账号arXiv cs.AI@Kushagra Bhushan, Meghanadh Pulivarthi, Sai Krishna Reddy Sathi, Gaurav Pandey, Sonam Gupta, Vineet Kumar, Jaydeep Sen, Yatin Nandwani, Sachindra Joshi, Dinesh Raghu
精选73°
DKL是一种新方法，通过在基础语言模型上进行扩展预训练来注入新知识，然后与指令模型合并。实验显示，在检索失败情况下，DKL将RAG准确率从54.17提升至79.26。该方法避免了昂贵的指令微调，仅需较少训练数据即可实现知识注入。
论文DKLRAGInstruct LLM
推荐理由：DKL解决了RAG检索失败时的问题，比RAFT和PA-RAG方法更高效，还能保持指令模型的指令跟随能力。
原文
9月2日
10:47
7月23日
13:07
13:07Stanford AI Lab@StanfordAILab
斯坦福团队提出一种无需梯度下降即可将事实知识写入Transformer MLP的封闭形式方法。该方法可直接将事实编码进Transformer块，无需训练。相关论文已被COLM 2026接收。研究者包括Jerry Liu、Garctrob、Ronny Junkins等。
论文TransformerMLP知识注入
推荐理由：斯坦福团队搞了个新招：不用梯度下降，直接把事实写进Transformer的MLP里，论文被COLM 2026收了，想了解怎么不训练就灌知识的可以看看。
原文
7月2日
10:02
10:02官方账号arXiv cs.LG@Yiwen Xing, Philip Beaucamp, Joyraj Chakraborty, Afrah Farea, Yuanzhe Jin, Saiful Khan, Gennady Andrienko, Natalia Andrienko, Min Chen
对IEEE VIS会议过去十年200余篇VIS4ML论文进行系统调研。开发编码方案从ML特性、可视化、交互和动作四个视角分析。揭示了通过交互可视化将人类知识传递到ML工作流的不同路径。利用信息论成本效益分析解释VIS4ML现象，证实VA在ML工作流中的价值。
论文VIS4ML知识注入交互可视化
推荐理由：这篇论文梳理了200多篇VIS4ML论文，告诉你人在机器学习中怎么用可视化注入知识。想了解人机协作的路径和原理，这篇综述是很好的起点。
原文
5月27日
13:33
13:33官方一手marktechpost@Asif Razzaq
精选
来自新加坡国立大学、MIT和A*STAR的研究人员提出了MEMO框架，该框架将语料库知识编码到一个独立的可训练记忆模型中，无需修改大语言模型（LLM）的参数。MEMO通过模块化设计，让LLM能够动态访问外部记忆，从而高效学习新知识，同时保持原有模型能力不变。这一方法解决了LLM在持续学习中的灾难性遗忘问题，并降低了更新成本。实验表明，MEMO在知识注入任务上表现优异，且不影响模型原有性能。
论文记忆模型模块化框架持续学习
推荐理由：MEMO解决了LLM持续学习中的核心痛点——无需重训模型就能注入新知识，做知识密集型应用（如问答、检索增强生成）的团队可以直接参考，值得关注。
原文