Nathan Lambert 质疑"蒸馏"一词被滥用于描述 API 密钥窃取事件
Nathan Lambert 发帖吐槽圈内把 API 密钥被窃也叫"蒸馏"，还捎带讨论了模型传往中国的话题，术语混乱这事挺值得琢磨。
#模型蒸馏
共 53 条 · 7 天 8 条 · 30 天 21 条
信息流里打上「模型蒸馏」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月18日
论文：用蒸馏 4B 决策模型替换 Jev，agent 成本降 14.2% 至 89%
教你怎么给 agent 省钱：拿 Jev 蒸馏个 4B 小模型接进 harness，最省能砍掉 89% 成本还几乎不掉成功率。
10月15日
Anthropic 向投资人披露季度营收增至 168 亿美元，IPO 前数据曝光
Anthropic 上市前的财务数据流出，Q3 营收 168 亿美元、算力投入 1 美元换回 1.7 美元，还有蒸馏收入被砍的内幕，细节很足。
10月13日
Anthropic 推出新防护措施，模型蒸馏攻击窃取数据量降低 90%-99%
Anthropic 给 Claude 加了防蒸馏防护，蒸馏偷走的 token 降到原来的 1% 以下，还点名了智谱 AI，两条线都值得看看。
10月12日
10月10日
10月7日
BOTTLED 基准：LLM 智能体能否把能力封装成低成本的专用方案
这篇论文测试了让智能体自己动手省钱：让 Opus 5 等模型把任务封装成小程序或小模型，成本能降 657 倍但多数尝试会翻车，结果挺有意思。
10月5日
数千中国 token 二道贩子转售 Claude，Anthropic 封堵催生空壳公司新招
中国团队靠几千个转售商白嫖 Claude 蒸馏模型，Anthropic 一封他们就开空壳公司，猫鼠游戏看个明白。
10月4日
Replit CEO Amjad Masad 提出模型可即时训练领域专用替代模型
Replit CEO Amjad Masad 提了个有意思的思路：通用 Agent 干活时发现自己只被用来干一种活，就顺手训练个小模型顶替自己，便宜又更安全，像 JIT 编译器。
Replit CEO Amjad Masad：通用模型可即时训练专用小模型替代自己
Replit 老板聊了个有意思的想法：大模型发现自己干不完的活，当场训练个小模型接班，还更省钱更安全，听完对选智能体架构会有启发。
10月2日
10月1日
9月29日
9月22日
9月16日
一种改进的模型蒸馏方法，通过时间信用分配提升大语言模型性能
这篇论文提出了一种新的模型蒸馏方法γOPD，它通过引入折扣时间信用分配来平衡长时程监督和优化稳定性。实验表明，该方法在数学和代码推理任务上，比现有方法有更稳定的提升效果。
9月10日
8月11日
8月10日
8月6日
行业06:48
学生 Transformer 变成大师，Aidan Gomez 喊话复活 Google BrainCohere 拿学生 Transformer 玩梗，Aidan Gomez 接话说要复活 Google Brain，这俩人到底在暗示啥，点开视频不就知道了。
7月31日
7月28日
7月25日
7月24日
7月23日
Miles 引入 OPD：使 Qwen3.5-35B 推理缩短 3 倍且精度提升
Miles 发布了 OPD 方法，让 Qwen3.5 模型推理更快更准，无需任务奖励，比传统蒸馏更高效，适合模型压缩场景。
7月19日
DeepSeek V4 Pro API 疑偷偷调用 Claude Fable 5 进行模型蒸馏
DeepSeek API 可能偷偷调用 Claude？测试者用 3D 游戏、安全题等挖出异常行为，但证据还不铁，吃瓜注意别上头。
7月15日
7月14日
7月13日
纳德拉批评OpenAI和Anthropic禁止蒸馏却使用他人数据训练
纳德拉公开怼OpenAI和Anthropic，说他们一边拿公开数据训练，一边不让别人蒸馏自己的模型，挺双标。微软还顺便推销自家产品。