论文

arXiv 与期刊里的 AI 论文,每篇附中文摘要与推荐理由 · 5284 篇
9月16日
提出新算法解决大模型蒸馏中教师偏见问题

这篇论文提出了一种新算法,能解决大模型蒸馏中一个关键问题,就是如何让小模型学习大模型的能力而不继承大模型的偏见。它通过在源数据上校准教师模型,然后利用这个校准后的模型来训练学生模型,这样就能在不需要目标领域反馈的情况下,更好地学习。

arXiv cs.AI@Haichen Hu 等 3 人原文
一种改进的模型蒸馏方法,通过时间信用分配提升大语言模型性能

这篇论文提出了一种新的模型蒸馏方法γOPD,它通过引入折扣时间信用分配来平衡长时程监督和优化稳定性。实验表明,该方法在数学和代码推理任务上,比现有方法有更稳定的提升效果。

arXiv cs.LG@Shiqi Liu 等 12 人原文
9月15日