9月3日
12:14
12:14官方账号arXiv cs.AI@Kushagra Bhushan, Meghanadh Pulivarthi, Sai Krishna Reddy Sathi, Gaurav Pandey, Sonam Gupta, Vineet Kumar, Jaydeep Sen, Yatin Nandwani, Sachindra Joshi, Dinesh Raghu
精选73°
DKL是一种新方法,通过在基础语言模型上进行扩展预训练来注入新知识,然后与指令模型合并。实验显示,在检索失败情况下,DKL将RAG准确率从54.17提升至79.26。该方法避免了昂贵的指令微调,仅需较少训练数据即可实现知识注入。
推荐理由:DKL解决了RAG检索失败时的问题,比RAFT和PA-RAG方法更高效,还能保持指令模型的指令跟随能力。