#推理蒸馏

共 5 条 · 7 天 0 条 · 30 天 1 条

信息流里打上「推理蒸馏」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月19日

蒸馏推理模型时，与其给标准答案的思路，不如从学生自己的错误草稿修出一条它能学会的路径，这篇论文就是这么做的。

arXiv cs.LG@Shaoang Li 等 9 人原文

9月7日

这个框架让LLM推理能力提升5000倍速度、降低10000倍成本，专为大规模产品升级推荐设计。

arXiv cs.LG@Siliang Liu 等 4 人原文

8月10日

论文搞了个新基准CoDyControlBench，测了6款模型，GPT成功率最高94.8%，还蒸馏出1.5B小模型能上机械臂干活。

arXiv: DeepSeek@Zhongchao Zhou 等 8 人原文

7月24日

想提升音频模型的逻辑推理？这个框架用文本教师蒸馏，在MMSU等基准上效果拔群，比纯音频训练强很多。

arXiv cs.LG@Dongjie Fu 等 9 人原文

6月4日

做推理蒸馏或知识迁移的团队，IGA解决了小模型在分布外数据上泛化差的痛点，逻辑一致性提升四倍，值得在数学、医学等跨领域任务上试试。

arXiv cs.AI@Zehua Cheng 等 3 人原文