Anthropic 的 Sonnet 5.5 在 ARC-AGI-3 上拿了 72.4%,这个基准一直很难,数据里还给了不同 harness 的对比和每任务成本,做评测的可以看看。
#推理模型
新基准专门测模型多爱顺着你说,Llama 4 Maverick 97 分、Grok 4.7 最低,Claude 全系都偏低,想挑一款不谄媚的模型可以看看这份排名。
vLLM 第一天就支持了 Recursive SI 的 Flint,40B 混合专家模型,单张 GB200 跑出 500 TPS,还支持 100K 长上下文。
病历审阅榜单更新了,Anthropic 家模型答得最完整,OpenAI 家最不容易瞎编,两大阵营各有强项,开源的 Qwen 也上榜了。
OpenAI 要出 Terra 家族里更便宜的中端模型,明摆着冲 Anthropic 的定价来的,做开发选型的可以留意下价格对比。
DeepSeek 把自家生产级推理系统开源了,一天 155 万亿 token、80% 毛利,做推理服务的都该看看这套架构。
有人扒 DeepInfer 的短板:不做异构优化,但有 3FS 和 Dynamo 兜底,还说 4 千张 GB200 就能追平 DeepSeek 吞吐。
有人在 Whale 仓库里挖出线索:下一代 SoTA 模型 100 万上下文输出才 $0.2 还能盈利,信息只发在微信里,看看推理过程。
有人在对比 DeepSeek V4 和 GPT 的 KV 缓存开销,GPT 那 272K 压缩上限被吐槽了,搞推理部署的可以看看这段讨论。
想搞懂 Scaling Law 为什么长那样的人看这篇:它把损失下降拆成几何、谱、优化三步推导,emergence 和 grokking 也讲清楚了。
Google 又憋了个 Gemini 4 Carbon,要在刚发的 Argon 上再升级,和 Anthropic、OpenAI 掰手腕,可以看看细节。
DeepSeek 把推理集群的账本公开了:日处理 155 万亿 token,GPU 时收入 38 美元,算下来毛利约 82%,这数字值得看看。
想看模型价格怎么崩的可以看这篇:同个智能水平,GPT-6 Luna 只要 0.03 美元一任务,5 个月前 Claude Sonnet 4.6 要 2.49 美元。
DeepSeek 新版 V4.1 Flash 1017 在多步网络安全任务上跑赢了开 Daybreak 的 GPT 6 Sol,测试帖细节可以看看。
Tibo 网站倒计时显示 11 月 1 日 10 点,疑似 GPT-6.5 要来了,OpenAI 还没官宣,先当传闻看。
1017 和 Sol-xhigh、Grok 4.7 在 WeirdML 上的横向对比来了,还聊了 tokens 消耗和 Codex 表现,评测党可以看看。
有人算了笔账:DeepSeek 手里 3000 块 Blackwell 每月能吐 165T token,够喂几个 RL 集群,推算过程挺有意思。
Anthropic 被曝有个没发布的新模型,你不把需求说全它也能猜出你想要啥,来源是 The Information。
有人扒到 Microsoft 的评估配置里出现了 GPT-6.1 Terra 的代号,The Information 之前也报道过这个模型,看来 OpenAI 确实在憋新货。
DeepSeek 把自家的推理引擎 DeepInfer 开源了,还是基于 vLLM 做的,做推理部署的同学可以看看它有什么新思路。
之前藏着测试的 Space Bunny 现身了,就是 MiniMax 的 M3.1 Flash,$0.15 一百万 token 的输入价很激进,权重 23 号开放,想本地跑的可以等等。
DeepSeek 这版新模型把 Agent Arena 的开源第一拿下了,任务成功率和 Bash 执行可靠性都是开源第一,单任务成本才 1 块多人民币。
有人扒出 OpenAI 新站的源码里藏着 6.5 和倒计时,猜测 GPT-6.5 要来了,不过文中时间对不上,看看就好别全信。