#推理模型
DeepSeek 把自家生产级推理系统开源了,一天 155 万亿 token、80% 毛利,做推理服务的都该看看这套架构。
有人扒 DeepInfer 的短板:不做异构优化,但有 3FS 和 Dynamo 兜底,还说 4 千张 GB200 就能追平 DeepSeek 吞吐。
有人在 Whale 仓库里挖出线索:下一代 SoTA 模型 100 万上下文输出才 $0.2 还能盈利,信息只发在微信里,看看推理过程。
有人在对比 DeepSeek V4 和 GPT 的 KV 缓存开销,GPT 那 272K 压缩上限被吐槽了,搞推理部署的可以看看这段讨论。
想搞懂 Scaling Law 为什么长那样的人看这篇:它把损失下降拆成几何、谱、优化三步推导,emergence 和 grokking 也讲清楚了。
Google 又憋了个 Gemini 4 Carbon,要在刚发的 Argon 上再升级,和 Anthropic、OpenAI 掰手腕,可以看看细节。
DeepSeek 把推理集群的账本公开了:日处理 155 万亿 token,GPU 时收入 38 美元,算下来毛利约 82%,这数字值得看看。
想看模型价格怎么崩的可以看这篇:同个智能水平,GPT-6 Luna 只要 0.03 美元一任务,5 个月前 Claude Sonnet 4.6 要 2.49 美元。
DeepSeek 新版 V4.1 Flash 1017 在多步网络安全任务上跑赢了开 Daybreak 的 GPT 6 Sol,测试帖细节可以看看。
Tibo 网站倒计时显示 11 月 1 日 10 点,疑似 GPT-6.5 要来了,OpenAI 还没官宣,先当传闻看。
1017 和 Sol-xhigh、Grok 4.7 在 WeirdML 上的横向对比来了,还聊了 tokens 消耗和 Codex 表现,评测党可以看看。
有人算了笔账:DeepSeek 手里 3000 块 Blackwell 每月能吐 165T token,够喂几个 RL 集群,推算过程挺有意思。
Anthropic 被曝有个没发布的新模型,你不把需求说全它也能猜出你想要啥,来源是 The Information。
有人扒到 Microsoft 的评估配置里出现了 GPT-6.1 Terra 的代号,The Information 之前也报道过这个模型,看来 OpenAI 确实在憋新货。
DeepSeek 把自家的推理引擎 DeepInfer 开源了,还是基于 vLLM 做的,做推理部署的同学可以看看它有什么新思路。
之前藏着测试的 Space Bunny 现身了,就是 MiniMax 的 M3.1 Flash,$0.15 一百万 token 的输入价很激进,权重 23 号开放,想本地跑的可以等等。
DeepSeek 这版新模型把 Agent Arena 的开源第一拿下了,任务成功率和 Bash 执行可靠性都是开源第一,单任务成本才 1 块多人民币。
有人扒出 OpenAI 新站的源码里藏着 6.5 和倒计时,猜测 GPT-6.5 要来了,不过文中时间对不上,看看就好别全信。
论文测了在固定 token 预算下怎么让模型真的把答案交出来,Qwen3-4B 和 DeepSeek 蒸馏版各涨了 8 和 7 个点,做推理部署的可以看看。
有人把推理过程画成图来做自反思,MATH 上比普通反思高 12 个百分点,还不用训练,搞 QA 的可以看看。
MiniMax 又发了个省钱版 M3.1 Flash,价格砍半还能打平 DeepSeek V4.1 Flash,不过性价比仍输 MiMo-V2.6 Pro,适合预算敏感的场景。
Anthropic 的新 Claude 被曝修 Bug 会追根因而不是糊补丁,对比 OpenAI 同期只露了 6.1 Terra 一角,做开发的朋友可以看看细节。
有人实测 deepseek-v4.1-flash-1017,说 Agentic Coding 从 GROK-4.6 水平直接追上国产旗舰,还发现了行为变保守、预算控制的问题。
做 Agent 长任务的朋友看看这篇:把设计意图存图里、用确定性控制器核对交付物,19 个领域、228 个任务的基准测下来,同一模型约束满足率高出基线 14-25%。
vLLM 团队放出了 d3-turbo,做智能路由用的决策模型,比 d3 flash 快 15 倍,还登顶了 Jev Decision Index,做路由的可以看看。