Artificial Analysis 搞了个新基准,专测模型说话风格:Qwen3.8 27B 回复平均 1030 词,是 GPT-6 Luna 的近 4 倍,选模型时挺有用。
#Artificial Analysis
有人在猜 DeepSeek V4.1F 能排到 45-46 分,还聊了 Vals 和 CritPt 这几个基准的毛病,喜欢看跑分讨论的可以看看。
Artificial Analysis 的 Optima 更新了,现在能用你自己的任务建基准,从智能、成本、速度三个维度对比各家模型。
Liquid AI 新出的 d1-ultra 拿了决策模型榜第一,幻觉率从 2% 干到 85%,价格只有 GPT-6 Luna 一半,做自动化决策的可以看看。
语音模型又卷起来了,这个延迟不到 1 秒,价格还没涨,做语音智能体的可以去看看 benchmark 数据。
实时语音选型可以看这份对比,Grok Voice 3.0 单任务 $0.025,比 GPT-Realtime-2.1 便宜一半多。
跑智能体任务时输入 token 大部分能吃缓存,这份实测数据帮你看出同一个 GLM-5.3 在不同家价格能差 9 倍,选 API 前先看看。
专门给模型排榜的 Artificial Analysis 现在直接服务政府了,还跟韩国签了 MOU,看看官方评测机构怎么挣政府的钱。
决策模型这个新品类有了第一份横评,Jev 拿第一但被 Claude Haiku 压三分,代价和速度差了 11 倍,做分类和工具路由的可以看看选型数据。
AA-3D 让模型直接在沙盒里搭 three.js 3D 场景,再由千人评审盲测打分,Claude 系和 GPT-6 Astra 并列头部,开源模型落后 200 多分。
Scale AI 放出 MUSE WONDER,从 MUSE SPARK 迭代而来,靠预训练加 RL 推到前沿,可以看看 Artificial Analysis 上的成绩。
做配音或语音应用的可以看下这个 TTS 排行榜,HeyGen 转发的 Artificial Analysis 榜单,各家模型水平一目了然。
OpenAI 给受信访问的 GPT-6 Sol(Daybreak Blue)几乎没有网络安全防护,跑分直接登顶还比 Grok 4.7 便宜好几倍,值得看看细节。
Artificial Analysis 的模型榜单要更新了,v5 加入 Terminal-Bench Science 和私有数据集的编程测试,看榜单选模型的朋友可以蹲一下。
Theo 拆解了那个流传很广的年烧 1.3 亿美元 Token 的说法,数据讲得挺细,做 AI 产品算成本前建议看看。
生数科技的 Vidu Q4 Preview 一上线就冲到 Artificial Analysis 视频榜第 3,能出 4K 带音频的视频,价格还和上一代一样,可以试试。
同一条提示词让各家模型写交互式黑洞,Artificial Analysis 把结果放一起对比,想选编程模型的可以看看谁的效果最像 Gargantua。
Reflection 新模型 Beam 正在被 Artificial Analysis 独立测试,早期数据显示它是同级开源模型里最省 token 的之一。
一家影视工作室自己训的视频模型,基于 MiniMax H3,一上榜就冲到带音频文生视频第二,导演直接参与训练反馈,思路挺特别。
Artificial Analysis 新增了安全拒绝报告,能看模型什么时候拒绝、切换到哪个备用模型,Claude Sonnet 拒绝率只有 Opus 的一半。
Artificial Analysis在首尔办了场AI聚会,有美国专家讲任务成本,SK电信和TrillionLabs展示了他们的AI模型进展。
网络安全方向的新基准,Grok 4.7 和 MiMo-V2.6-Pro 并列第一,但 GPT-6 Sol 在端到端任务上全部拒绝执行,这个对比挺有意思。
Artificial Analysis 发文回顾两年:o1-preview 开创推理模型,他们的评测指数也从 4 项考试题扩到 10 项智能体任务,能看清评测怎么进化。
阿里 Qwen3.8-Max 被曝跑了 33 轮自动训练迭代,AA 分数从 40 涨到 45,还有 2.4T 参数的说法。
给 Agent 做实时联网搜索可以看看 Octen,0.21 秒一次查询,价格只有 Exa auto 的七分之一,三项基准都进前三。
想了解 iPhone 17 Pro 上 AI 模型的性能表现?看这篇,详细分析了 8GB 以内模型的跑分情况。
Artificial Analysis刚发了搜索API基准,用GPT-5.6 Luna测了7家提供商,帮你选搜索工具时看质量、成本、速度。