模型多源确认

谷歌更新 Android Bench:Gemini 4 Argon 编程成绩落后 Claude 与 GPT

谷歌更新 Android Bench 榜单:自家 Gemini 4 Argon 编程能力大幅落后于 Claude 与 GPT

精选理由

谷歌自家基准把自家 Gemini 4 Argon 排到第五,通过率才 21.3%,GPT-6.1 Sol 的性价比数据对安卓开发者选模型很实用。

谷歌于 10 月 26 日更新 Android Bench 榜单,新增 GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5 和 Gemini 4 Argon 的测试结果。Claude Sonnet 5.5 以 40% 通过率、80.9% 完成率位居第一。GPT-6.1 Sol 通过率 29.3%,调用成本仅 99.50 美元,远低于第一名 Claude 的 1,574.90 美元。谷歌自家的 Gemini 4 Argon 排在第五位,通过率仅 21.3%,落后于其他前沿模型,平均调用成本 267.70 美元。此次更新还首次标注了每个模型所采用的推理等级。

原文 · IT之家

谷歌更新 Android Bench 榜单:自家 Gemini 4 Argon 编程能力大幅落后于 Claude 与 GPT

IT之家 10 月 28 日消息,谷歌更新了用于评估 AI 模型安卓编程辅助能力的 Android Bench 榜单,Gemini 4 Argon 的成绩大幅落后于最新版 Claude 与 GPT 系列模型。 Android Bench 于今年年初推出,方便安卓开发者快速对照谷歌的这套测试标准,挑选最适合安卓代码开发辅助的 AI 模型。测试会考量安卓开发特有的使用场景以及安卓开发的最佳实践。谷歌在持续开展测试、纳入新模型排名的同时,还把平均调用成本纳入基准指标,方便开发者结合自身需求做选择。 在 10 月 26 日的这次更新中,谷歌新增标注了每个模型所采用的推理等级,同时补充了多款模型的测试结果,包括 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5,以及谷歌自家的 Gemini 4 Argon。 目前榜单第一名是 Claude Sonnet 5.5,通过率 40%,完成率 80.9%。10 月初加入榜单的 Claude Opus 5.5 位列第二。 OpenAI 的 GPT-6.1 Sol 可能是此次最值得关注的新增模型,通过率 29.3%,完成率 82.8%,但调用成本仅 99.50 美元 (IT之家注:现汇率约合 664.8 元人民币) ;相比之下,排名第一的 Claude 调用成本高达 1,574.90 美元 (现汇率约合 10,522 元人民币) 。 而谷歌自家的 Gemini 4 Argon 首秀表现平平,排在第五位,明显落后于其他前沿模型,甚至不及 laude Fable 5.1,通过率仅有 21.3%,完成率 81.8%,平均调用成本 267.70 美元 (现汇率约合 1,789 元人民币) 。 谷歌官宣 Gemini 4 Argon 之后不久,就有内部消息称该模型“难以处理部分编程任务”,不过谷歌依旧认可其能力。

  • Artificial Analysis10-26 22:22原文
  • coderabbitai10-26 18:33原文
  • Blognone10-27 02:08原文