#知识蒸馏

一篇蒸馏论文：用教师模型 RL 中途检查点的方向一致性做门控，Qwen3 系列学生六个设置全拿下最高分，成本只多一次打分。

把强智能体蒸馏进小模型的新方法，不要求师生同族模型，Qwen3-4B 实测涨 3.3-6.9 个点，做 agent 压缩的可以看看。

闭源模型当老师也能蒸馏：只改错处、照学生的口吻写，TimeWarp 上比行为克隆高 5-10 个点。

把 GNN 的几何信息蒸馏进普通 MLP，推理不用图也能保住精度，做图机器学习部署的可以看看

蒸馏时直接抄老师的最终输出会混进老师基座的偏好，这篇论文改用老师训练前后的偏移量，三个老师组合下 Math 高了 4 分多，做模型蒸馏的可以看看。

一个 8.5MB 的 TTS 模型，笔记本 CPU 就能跑，速度是实时的 25 倍，音质只比原版 Kokoro 低一点，还开源了代码和音频样本。

这篇论文把 DeepSeek 的开源策略、API 定价和知识蒸馏放到中美法律博弈里讲，比一般技术评测更值得法律和从业者细看。

arXiv 上这篇 TIDE 讲怎么让小模型智能体训练时先跟老师学、再靠自己 RL 变强，比固定混合比例的做法更灵活，做智能体训练的可以看看。

想让线性 ViT 免去从头预训练？这篇告诉你直接复制 MLP 权重再蒸馏注意力就能追平 Softmax 版本，方法很实用。

全双工语音模型聊久了内存会爆，这篇用转录旁路压缩KV，十分钟会话峰值缓存直接砍掉64.6%，性能还不掉。

学生模型从看似无关的输出里学会没见过的任务，这篇论文用核函数把背后的数学原理讲透了。

这篇论文分享了一种新的模型压缩技术，能提升3D-CNN在视频动作识别上的效果，感兴趣的可以看看。

农学家和嵌入式开发者必看：ViT压缩模型在辣椒病害检测上保持95%准确率，模型缩小54倍。

航天图像分割常缺标注，这论文用 SAM 3 自动生成伪标签，还解决了伪标签几何错误。TinyUNet 又小又快，边界指标提升明显。

这论文做了个教室安全识别的新基准和轻量模型，计算量只要大模型的十分之一，效果还更好，适合关心AI+教育的人看看。

这是篇讲怎么把大模型因果推理能力蒸馏到小模型的新论文，CausalOPD专治“答案对但推理过程错”，三个领域里错误率从15.7%砍到4.4%，小模型还赢过了大牌模型。

这篇论文给多模态蒸馏提了个新招：用师生分歧定位该纠的感知错误，八个基准分数明显涨，做蒸馏的可以看。

想提升异构模型蒸馏效果？CoCaRS 用三种新模块解决特征冗余和系数敏感问题，实验在 CIFAR-100 和 ImageNet-1K 上表现更好。

这篇论文提出了一个很聪明的改进：当学生模型推理跑偏时，让老师模型短暂接管一段，再交回学生继续训练。在Qwen3小模型上效果明显，数学推理准确率提升，训练还更快。

论文提出OrthKD蒸馏方法，用异构教师知识教轻量模型，DR筛查准确率从0.507涨到0.728，适合边缘部署。

这篇论文发现了现有扩散蒸馏方法在CFG下的一个隐蔽问题，并给出了一个简单的修正方案。做扩散模型蒸馏或视频生成的同学可以看看。

论文用实验数据揭示了一个反直觉现象：学生在模仿老师时，67%的token在“同意但失败”，说明局部蒸馏有盲区。做模型蒸馏的朋友可以看看这个诊断方法。

这个新方法把强化学习和知识蒸馏结合在一起，解决了RL和OPD各自的短板，跨家族蒸馏效果尤其好。

他们挑战了多模态情感模型必须大的假设，用知识蒸馏搞出<1B的Light-MER，9个基准超了大模型还更快，做部署的可以看看。

论文搞了个8B的小模型FATE，专门给AI老师打分，比蒸馏前涨了22个点。还顺便测了Gemini、ChatGPT等，Gemini 2.5 Flash得分最高，挺有意思。

想在心电图分类上搞轻量化部署？LSTrans用知识蒸馏和低秩适配把大模型压缩到可穿戴设备上跑，基准测试上内存和速度都优化了。

这篇论文提出了一种新方法，可以在模型回答之前就预测它的置信度，比传统方法更准更省计算成本。

用弱模型训练强模型，Qwen3-1.7B在AIME 2024从48.3%飙到62.4%，只花4小时8卡A100。比直接RL还省，值得试试。

这篇论文告诉你，用模型自己问自己生成的问答数据来训练模型，可能会引入隐蔽的偏见和指令注入风险。他们用一个简单方法就能把问题率从88%压到13%，值得做数据合成的同学看看。

想用多视角多模态数据训练视频理解模型？UNIEGO用代理模型搞定异构教师蒸馏，在三个任务上刷新了纪录。

这篇论文揭穿了一个直觉错误：你以为给小白模型喂“学霸笔记”能变强，结果效果还不如它自己瞎写的解题草稿。原因是学霸的思路和它不匹配，硬学反而费劲。

直接提升小模型火灾分类精度

这条信息揭示了苹果与Google在AI合作上的真实关系，做AI模型训练或关注大厂博弈的开发者会感兴趣——苹果用蒸馏技术借力Gemini，但最终保持自主，值得点开看看背后的技术策略。

小互@imxiaohu原文