蒸馏相关 AI 资讯

模型中美对照多源确认07:30

DeepSeek 4.1 Flash 1016 被指蒸馏自 OpenAI 模型

有人发现 DeepSeek 4.1 Flash 1016 自称 ChatGPT，怀疑是从 OpenAI 蒸馏来的，看看证据你自己判断。

#DeepSeek #ChatGPT #蒸馏 #开源模型

事件专题

@koltregaskes@koltregaskes11 个信源在谈原文

行业中美对照多源确认05:23

推特讨论：若照 Anthropic 方式压制蒸馏，中国 AI 训练速度或慢约 2 倍

一位研究中国 AI 的观察者推算：照 Anthropic 那样限制蒸馏，训练速度会慢约 2 倍，可以看看这个估算逻辑。

#Anthropic #蒸馏 #AI政策

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

行业中美对照多源确认13:23

网友质疑 DeepSeek V4.1-1017 提升来自 OpenAI 蒸馏的说法

一条关于 DeepSeek V4.1-1017 提升来源的争论帖，作者拿 Luna 没跑赢 V4.1 来反驳蒸馏说，观点挺有意思。

#DeepSeek #V4.1 #OpenAI #Luna

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

行业中美对照多源确认04:54

评论者谈模型蒸馏：不反对蒸馏，但担忧 Claude 风格渗透国产模型

一条挺有态度的观点：作者支持蒸馏 DeepSeek 等模型学 Claude，但担心国产模型会失去自己的个性，评论区常吵这个话题。

#蒸馏 #Claude #Anthropic #DeepSeek

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

技巧 Agent 与开发者精选21:27

Reasoning From Scratch 第 8 讲：用蒸馏替代强化学习训练推理模型

Raschka 推理模型系列的完结篇，手把手教你用 DeepSeek R1 的数据把 Qwen3-0.6B 蒸馏出推理能力，还能跑通 MATH-500 评估。

#DeepSeek R1 #Qwen3 #MATH-500 #蒸馏

官方账号Sebastian Raschka@rasbt原文

行业中美对照18:39

观点：推理能力提升更靠内部 RL，蒸馏作用被高估

一个关于蒸馏和 RL 谁才是推理能力来源的争论，作者拿 ChatGPT 和 Claude 的思维链形态举了例子，可以看看你站哪边。

#蒸馏 #强化学习 #ChatGPT #Claude

Teortaxes@teortaxesTex原文

行业中美对照多源确认71°17:51

评论称中国模型进展中蒸馏与内部 RL 训练占比难以区分

这条推讨论一个很多人好奇的问题：中国模型的进步到底多少靠蒸馏美国模型。观点角度挺有意思，可以看看评论区反应。

#Claude #GPT #蒸馏 #推理模型

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

技巧 Agent 与开发者12:46

蒸馏只能复制输出 logits，无法复制隐藏思维链

做模型蒸馏前值得搞清楚的一点：你只能拿到 logits，拿不到思维链，所以蒸馏推理模型效果会打折扣。

#蒸馏 #推理模型 #chain of thought #logits

Teortaxes@teortaxesTex原文

论文11:42

ACEdit：让多轮图像编辑在累积分布偏移下保持稳定的训练方案

多轮修图会越修越糊，这篇论文提出训练时让学生模型在自己输出上练习、教师模型锚定原图做蒸馏，长序列编辑明显更稳。

#ACedit #图像编辑 #蒸馏 #扩散模型

arXiv cs.AI@Sara Dorfman 等 5 人原文

行业多源确认10:06

网友猜测 Meta Spark 1.3 提升或来自从 OpenAI 蒸馏

有人怀疑 Meta 的 Spark 1.3 进步是靠从 OpenAI 蒸馏来的，所以才不敢开源，看看这个推理过程挺有意思。

#Meta #Spark #OpenAI #蒸馏

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

行业中美对照多源确认21:35

Anthropic 蒸馏收入占比达 5%-7%，或超 5 亿美元

Anthropic 靠让别家实验室蒸馏模型就赚了几亿美元，按 Q2 的 115 亿收入算占比 5-7%，这个隐藏收入线挺有意思。

#Anthropic #蒸馏 #商业模式

事件专题

官方账号Simon Willison@simonw11 个信源在谈原文

模型中美对照多源确认01:45

Ethan Mollick：Gemini 4 的表现风格与其他模型明显不同

Ethan Mollick 用了 Gemini 4 之后说它手感跟别的模型不一样，还猜测不少模型偷偷蒸馏了 Claude 或 GPT，观点挺有意思。

#Gemini 4 #Claude #GPT #蒸馏

事件专题

Ethan Mollick@emollick11 个信源在谈原文

行业中美对照18:59

杭州公司招聘“Claude/GPT 会员账号工程师”引热议

杭州有公司专门招人管 Claude/GPT 付费账号，评论区都在猜是为了拿输出蒸馏，挺离谱又挺真实。

#Claude #GPT #杭州 #蒸馏

Teortaxes@teortaxesTex原文

行业政策与合规多源确认76°13:54

Anthropic 更新防蒸馏措施，被拦截的套取请求也将收费

Anthropic 把防蒸馏细节讲透了：数万亿 token 说拒就拒，还公布 8.6 个百分点的蒸馏收益实验，做模型训练的都该看看。

#Anthropic #Claude #蒸馏 #推理模型

事件专题

岚叔@lufzzliz11 个信源在谈原文

行业中美对照多源确认08:53

网友质疑 GLM 5.3 网络能力或蒸馏自 Claude，主权 RL 技术栈引发讨论

有人质疑 GLM 5.3 的网络安全能力是不是从 Claude 蒸馏来的，顺便聊了主权 RL 技术栈这个话题。

#GLM 5.3 #Claude #Zhipu #AI安全

事件专题

Teortaxes@teortaxesTex3 个信源在谈原文

行业中美对照05:02

No Priors 播客对谈 Reflection AI 联合创始人 Misha Laskin

Reflection AI 的 Misha Laskin 上 No Priors 聊中国竞争、开源模型怎么赚钱、蒸馏和推理效率，观点挺直接，适合边散步边听。

#Reflection AI #No Priors #开源模型 #蒸馏

Sarah Guo@saranormous原文

论文 Agent 与开发者精选13:22

OPPD 蒸馏法让模型单次生成即达 power sampling 64 候选的效果

一篇有意思的论文：不靠每次采样几十个候选，而是把 power sampling 的锐化直接蒸进模型，单次生成就超过 64 候选采样，数学和代码基准都有实测数字。

#OPPD #power sampling #GRPO #蒸馏

arXiv cs.AI@Erfan Baghaei Potraghloo 等 7 人原文

模型中美对照07:35

评论员谈 Beam：不靠 Claude 蒸馏，用 RL 压缩轨迹

有人聊 Beam 这模型：猜它没用 Claude 蒸馏，纯靠 RL 炼出来的，看看不带 Claude 血统能打几分。

#Beam #Claude #RL #蒸馏

Teortaxes@teortaxesTex原文

行业 Agent 与开发者03:15

Yann LeCun：蒸馏成本低，前沿基础模型终将免费开源

LeCun 发推说蒸馏比训练前沿模型便宜得多，市场力量会逼着前沿模型免费开源，逻辑挺简单直接。

#Yann LeCun #蒸馏 #开源模型 #前沿模型

官方账号Yann LeCun@ylecun原文

行业中美对照04:36

投资人警告：蒸馏美国模型或损害中国 AI 实验室长期竞争力

投资人把蒸馏美国模型比作运动员嗑药，短期提分但毁掉原创研究动力，这个角度看中国实验室挺有意思。

#蒸馏 #DeepSeek #原创研究 #The Information

The Information@theinformation原文

论文 Agent 与开发者10:19

多教师在线蒸馏研究：从梯度到能力

研究Qwen3如何整合多个RL训练教师，发现梯度传递和参数更新的关键机制。

#Qwen3 #MOPD #蒸馏 #RL

arXiv cs.LG@Siqi Zhu 等 7 人原文

行业中美对照多源确认83°17:55

OpenAI 称遭遇有组织蒸馏，指向月之暗面

OpenAI 揭露了一场大规模模型蒸馏攻击，1.5 万用户参与，矛头直指月之暗面。

#OpenAI #月之暗面 #Kimi #蒸馏

事件专题

IT之家11 个信源在谈原文

论文 Agent 与开发者精选09:58

跨世界策略蒸馏提升视觉语言模型

清华团队提出新蒸馏方法，让小模型通过关注视觉证据超越大模型，代码已开源。

#Qwen3.5-4B #DeepSeek-V4.1 #视觉语言模型 #蒸馏

arXiv: DeepSeek@Yuanhao Sun 等 5 人原文

模型中美对照多源确认72°13:25

Anthropic指控7家中国公司蒸馏Claude模型

Anthropic点名7家中国公司，揭秘蒸馏技术原理与最新ODP方法，对比RL训练效率提升近10倍。

#Anthropic #Claude #蒸馏 #Qwen3

事件专题

掘金本周最热@程序员于老七11 个信源在谈原文

论文 Agent 与开发者10:07

DyMD：用分布匹配蒸馏把 14B 视频模型压缩成四步 1.3B 学生模型

一篇把 14B 视频世界模型压到 1.3B、四步就能跑的蒸馏论文，专治 DMD 蒸馏后机器人动作变僵的问题，做具身智能的可以看看。

#DMD #视频生成 #蒸馏 #世界模型

arXiv cs.AI@Haojun Xu 等 7 人原文

论文 Agent 与开发者精选73°20:47

Google 研究：Harness-Zero 在训练后移除专用 harness，任务成功率反升

Google 这篇论文把 agent harness 蒸馏进模型，移除专用 harness 后成功率反而从 23.3% 涨到 44.3%，比带 harness 还高，做 agent 的都该看看。

#Harness-Zero #Google #agent #蒸馏

elvis@omarsar0原文

论文 Agent 与开发者多源确认09:31

对 Whisper 编码器剪枝 6 层，无需标注数据蒸馏恢复精度

有人把 Whisper 的编码器砍掉 6 层还不用改推理代码，只用无标注语音蒸馏就把 WER 拉回 20.1%，模型直接可以下载用。

#Whisper #语音识别 #模型压缩 #蒸馏

事件专题

arXiv: OpenAI@Rasmus Aagaard, Nicki Skafte Detlefsen11 个信源在谈原文

论文政策与合规多源确认22:41

Anthropic 报告：代理查询路由如何支撑大规模蒸馏

Anthropic 出了份报告，讲有人拿代理偷偷转发用户 prompt 到 Claude API 蒸馏模型，还点出隐私风险，做 AI 产品的人都该看看。

#Anthropic #Claude #蒸馏 #AI安全

事件专题

DeepLearning.AI@DeepLearningAI11 个信源在谈原文

论文 Agent 与开发者10:15

OPD 蒸馏方法让低比特量化模型恢复推理能力

量化到 2-bit 后模型做数学题会发疯循环？这篇论文用 on-policy 蒸馏把 MATH-500 保留率从 35% 拉到 70%，做端侧部署的可以看看。

#量化 #蒸馏 #推理模型 #MATH-500

arXiv cs.LG@Yuanteng Chen 等 10 人原文

论文中美对照多源确认精选17:19

Meta发布新研究：字节模型蒸馏后，性能突破GPT-4

Meta搞了个新研究，把字节跳动的GLM-4.5V模型蒸馏了一下，结果性能超过了GPT-4，挺有意思的。

#Meta #字节跳动 #GLM-4.5V #GPT-4

事件专题

量子位@henry7 个信源在谈原文

论文 Agent 与开发者精选00:05

Meta 发表论文，字节级模型在算力提升后超越 token 模型

Meta 新论文说，字节级模型在算力够大时能超过 token 模型，还提到用 256 个词表能省存储，挺有意思的。

#Meta #字节级模型 #token 模型 #蒸馏

事件专题

elvis@omarsar02 个信源在谈原文

技巧 Agent 与开发者精选78°08:22

HuggingFace公开训练智能体系列视频及代码

HuggingFace团队做的，教你怎么从SFT到RL训练智能体，比单纯看理论更实用，适合想动手的开发者。

#HuggingFace #智能体 #RL训练 #SFT

shao__meng@shao__meng原文

技巧 Agent 与开发者10:25

推理模型不是在像人一样思考，访谈拆解工程本质

想了解AI行业术语的真相，@sophiamyang 和 @rasbt 这场69分钟的访谈，用具体方法解释了推理模型到底是怎么工作的。

#推理模型 #工程本质 #RLVR #蒸馏

shao__meng@shao__meng原文

行业中美对照22:07

商务部回应美方AI蒸馏指控：于事无凭于法无据

商务部回应美国AI蒸馏指控，揭露美方双重标准，强调蒸馏是行业通行做法。

#蒸馏 #AI模型 #商务部 #美国

IT之家原文

论文精选73°11:27

大语言模型同策略蒸馏研究：单训练示例效果显著

OpenAI新研究揭示OPD只需少量数据就能接近全数据效果，算法效率比数据量更重要。

#OPD #大语言模型 #蒸馏 #状态覆盖率

arXiv cs.AI@Zixuan Fu 等 13 人原文

论文精选73°11:19

顺序优于联合：RLVR与OPD方法对比研究

OpenAI等机构常用方法被挑战，论文证明先OPD后RL的两阶段训练效果更好，还给出了实用切换信号。

#RLVR #OPD #大模型推理 #强化学习

arXiv cs.LG@Boyan Li 等 6 人原文

论文精选73°12:09

在线策略蒸馏有效性研究

OPSA方法比OPD提升16.77分，在AIME24上相对增益263%，无需教师监督。

#OPD #OPSA #Qwen3-1.7B #AIME24

arXiv cs.LG@Yi Ding, Ruqi Zhang原文

论文73°09:05

VISTA：基于验证器的学生-教师自适应蒸馏方法

VISTA方法改进了OPSD蒸馏技术，通过验证器指导教师自适应，在数学推理任务上显著提升性能。

#VISTA #OPSD #Qwen3 #蒸馏

arXiv cs.LG@Zewen Ding 等 8 人原文

论文16:39

AINews：如何窃取推理轨迹

想知道怎么从推理模型里偷思维链？这篇讲透了投机解码的另类用法，安全研究者必看。

#投机解码 #推理轨迹 #模型安全 #蒸馏

官方账号Latent Space (swyx)原文

行业政策与合规00:30

扎克伯格呼吁行业重新思考蒸馏与训练数据政策

扎克伯格公开挺蒸馏，说模型互相学习是开源根本，这波站队值得看看。

#扎克伯格 #Meta #蒸馏 #开源模型

Suhail@Suhail原文