#模型蒸馏
共 53 条 · 7 天 8 条 · 30 天 21 条
7月13日
7月8日
7月3日
7月1日
6月30日
6月25日
Anthropic指责阿里巴巴实施最大规模蒸馏攻击，自己却被曝双标
Anthropic刚发的Claude Opus 4.8被揭套壳千问和DeepSeek，转头就告阿里偷模型，马斯克都看不下去了，这瓜绝对值得吃。
6月23日
论文11:07
上下文感知蒸馏与消融在Text2DSL上的研究这篇论文用DeepSeek-V4-Flash生成了上万条验证过的Polkit规则，并通过消融实验证明结构化上下文不是锦上添花，词汇表才是提升语义质量的关键。
6月12日
论文11:26
Dense Supervision, Sparse Updates: 策略蒸馏的稀疏性与几何特性分析这篇论文揭示了OPD更新的稀疏性和几何特性，对做模型蒸馏和微调的团队有直接参考价值——你可以只训练关键子网络来节省计算，同时理解为什么AdamW比SGD更优。建议点开看看实验细节。
5月28日
论文11:55
医疗CoT蒸馏：答案准确率提升，推理步骤错误率反升做医疗AI或模型蒸馏的团队注意了：答案准不等于推理对，蒸馏后步骤错误率反而飙升，临床场景下这是致命隐患。建议点开看看审计方法，避免踩坑。
5月18日
VLA-AD：离线语义引导蒸馏，将7B VLA教师压缩44倍至158M学生模型
做机器人策略部署的团队终于有了实用的模型压缩方案——VLA-AD用VLM离线语义信号替代在线大模型，7B教师变158M学生，速度3倍提升且性能几乎无损，做实时闭环控制的开发者可以直接参考。
5月16日
行业23:12
Anthropic 发文呼吁限制中国获取先进计算和模型输出Anthropic 这篇报告把中美 AI 竞赛的博弈逻辑摊开了——芯片封锁和模型蒸馏是核心战场，做 AI 政策、投资或技术战略的人值得细读，能帮你理解未来 2 年行业格局的关键变量。