#蒸馏

扎克伯格公开挺蒸馏，说模型互相学习是开源根本，这波站队值得看看。

Suhail@Suhail原文

想提升数学推理模型？SKALD 把技能蒸馏进权重，比 GRPO 最高涨 12 分，还不用改推理时的输入。

看黄仁勋怎么回应开源模型蒸馏闭源模型，还预测互联网99%是AI内容。

AI Will@FinanceYF5原文

它把慢吞吞的自回归VLA模型变成并行扩散模型，性能不掉，推理快2.8倍，还能跑自动驾驶多任务。

看看Anthropic对开源模型的最新态度，不是一刀切禁止，而是主张芯片管制和安全测试，与中国相关风险的分析很具体。

Suhail 出100万美元支持蒸馏研究，还说监管可能反而让蒸馏技术加速10倍，想听听他怎么看。

Suhail@Suhail原文

Schmidhuber本人说蒸馏是他1991年在欧洲发明的，现在开源模型可以用这个技术蒸馏商业公司的成果。

Aravind Srinivas@AravSrinivas原文

美国科技顾问直接点名Moonshot AI偷学Anthropic的Fable造Kimi K3，K3最近成绩逼近前沿，但背后是蒸馏争议，这场中美AI摩擦值得关注。

The Rundown AI@therundownai11 个信源在谈原文

Ben Thompson提出了一个实际解决蒸馏禁令与训练数据版权矛盾的方案，同时还能帮美国开源模型对抗中国对手，值得一看。

Jerry Liu 说通用 harness 不如任务专用，先用 Codex/Claude Code 打底再蒸馏，实践性很强。

Jerry Liu@jerryjliu0原文

Suhail一针见血：别再拿蒸馏当挡箭牌禁开放模型，中国早就不玩了，背后是实验室想守住摇钱树。

Suhail@Suhail原文

这篇论文用老师模型和基础模型的差值做蒸馏信号，比直接模仿老师更强，数学代码推理都更好，训练时间还短。

这篇论文用严格理论证明和实验验证了整流流中自蒸馏的改进方法，想了解生成模型自训练优化的可以看看。

别再信中国蒸馏了，人家可能本来就很强。这篇推文让你看清实验室的真实水平。

Suhail@Suhail原文

想调大模型temperature但发现被锁死了？看看这个讨论，可能是为了防止蒸馏，有意思。

向阳乔木@vista8原文

这篇论文对比了蒸馏不同教师模型的效果，发现推理型教师擅长教写作质量，托管型管线擅长教标签多样性，对选哪种蒸馏方案做端侧部署很有参考价值。

这篇论文给出了一个实用技巧：用蒸馏扩展支持域再强化学习，在数学和代理任务上都涨点明显，而且不需要改动模型结构。

这篇论文发现了再流蒸馏的隐藏问题——轨迹匹配可能不够，还提出了一个简单有效的边际对齐正则化，不用额外网络就能提升少步生成质量，值得做扩散加速的人看看。

Meta怕工程师用Claude和Codex偷偷训练自家模型，直接封了，挺直接的做法。

这篇论文用DanceOPD把T2I、局部编辑和全局编辑统一到一个模型里，解决了相互干扰的问题，效果显著提升。

朋友，Anthropic说阿里用了2.5万个假账号偷偷薅Claude的羊毛，比之前告DeepSeek他们加一起还多，这操作挺猛。

shao__meng@shao__meng11 个信源在谈原文

多轮训练效率瓶颈是当前大模型预训练的痛点，q0用群体模型替代单模型精炼，做预训练或数据效率优化的研究者可以直接复现并应用到自己的训练流程中。

模型蒸馏争议触及 AI 行业的核心竞争与伦理问题，关注大模型生态的从业者和投资人值得一读，看完会对行业潜规则有新认识。

orange.ai@oran_ge11 个信源在谈原文

做模型蒸馏或训练AI的团队值得关注——过度蒸馏可能导致模型行为异常，影响实际部署效果，建议点开了解具体表现和潜在风险。

Yangyi@Yangyixxxx原文