论文
arXiv 与期刊里的 AI 论文,每篇附中文摘要与推荐理由 · 5284 篇
9月16日
JustFit 让 27B 模型在 24GB 笔记本上处理 20万token
朋友,刚看到 JustFit 这个技术,它能让 27B 的 Qwen 模型在 24GB 笔记本上处理 20万token,比之前的方法快很多,对本地开发很有用。
提出新算法解决大模型蒸馏中教师偏见问题
这篇论文提出了一种新算法,能解决大模型蒸馏中一个关键问题,就是如何让小模型学习大模型的能力而不继承大模型的偏见。它通过在源数据上校准教师模型,然后利用这个校准后的模型来训练学生模型,这样就能在不需要目标领域反馈的情况下,更好地学习。
联邦图神经网络中的结构负迁移研究
这是篇关于联邦图神经网络(Federated Graph Neural Networks)的学术论文,研究了结构负迁移问题,对关注联邦学习或图神经网络的研究者可能有参考价值。
一种改进的模型蒸馏方法,通过时间信用分配提升大语言模型性能
这篇论文提出了一种新的模型蒸馏方法γOPD,它通过引入折扣时间信用分配来平衡长时程监督和优化稳定性。实验表明,该方法在数学和代码推理任务上,比现有方法有更稳定的提升效果。
9月15日