全部动态
AI 相关资讯全量信息流 · 6096 条
9月16日
Flow Matching 中的路径选择影响训练速度
这个论文研究的是流匹配(FM)算法里的一个细节问题,具体是路径选择对训练速度的影响。作者通过理论分析和实验证明,不同的路径会导致完全不同的训练速度,甚至最优路径的选择可以显著提升效率。
提出新算法解决大模型蒸馏中教师偏见问题
这篇论文提出了一种新算法,能解决大模型蒸馏中一个关键问题,就是如何让小模型学习大模型的能力而不继承大模型的偏见。它通过在源数据上校准教师模型,然后利用这个校准后的模型来训练学生模型,这样就能在不需要目标领域反馈的情况下,更好地学习。
联邦图神经网络中的结构负迁移研究
这是篇关于联邦图神经网络(Federated Graph Neural Networks)的学术论文,研究了结构负迁移问题,对关注联邦学习或图神经网络的研究者可能有参考价值。
一种改进的模型蒸馏方法,通过时间信用分配提升大语言模型性能
这篇论文提出了一种新的模型蒸馏方法γOPD,它通过引入折扣时间信用分配来平衡长时程监督和优化稳定性。实验表明,该方法在数学和代码推理任务上,比现有方法有更稳定的提升效果。
仅展示最近 2000 条内容,更早的内容请查阅 AI 日报存档