Gemini 4 Carbon 在 Bug Bunt Bench 得分 57.3,成本仅 Fable 5.2 的四分之一
有人拿 105 个真实 bug 实测了几家旗舰模型,Gemini 4 Carbon 只差 0.7 分追平 Fable 5.2,花费却只有 $31.32 对 $139.65。做代码修复选型的人应该看看这份带价格的榜单,比官方宣传单靠谱。
独立测试者在 Bug Bunt Bench 上用 2 个仓库、105 个重新植入的真实 bug 测评了多款旗舰模型,Gemini 4 Carbon (high) 拿到 57.3 分,仅以 0.7 分之差落后于榜首的 Fable 5.2 (max)。成本差距更明显:Fable 5.2 花费 $139.65,Gemini 4 Carbon 只花 $31.32,约为前者的四分之一。
对比其余选手:Sonnet 5.5 (max) 得 51.3 分但花费 $154.03,GPT-6 Astra (max) 得 45 分,GPT-6.1 Sol (max) 得 44.3 分(仅 $5.88),上一代 Gemini 4 Argon (high) 得 40.7 分。Carbon 相比 Argon 提升 +16.6 分,与 Google 官方基准宣称的数字一致。
整个测试通过 Antigravity CLI 执行,属于真实代码库上的修复任务而非合成评测。对开发者而言,这份测评把“找 bug 并修复”的能力和 API 花费放在一起比较,是选型时少见的性价比参考。
Insane jump from Argon to Carbon on Bug Bunt Bench using Antigravity CLI. Crazy how fast we are moving and how much more cost efficient the Gemini models are for the capability! Paweł Huryn @PawelHuryn What a day! I tested Gemini 4 Carbon on real work. 2 repos, 105 replanted bugs. Find and fix what you can. It scores just behind Fable 5.2. The results: - Fable 5.2 (max): 58 for $139.65 - Gemini 4 Carbon (high): 57.3 for $31.32 - Sonnet 5.5 (max): 51.3 for $154.03 - GPT-6 Astra (max): 45 for $33.03 - GPT-6.1 Sol (max): 44.3 for $5.88 - Gemini 4 Argon (high): 40.7 for $7.16 Google's own benchmarks looked super strong, but nobody could access the model. Turns out they didn't lie: +16.6 points over Argon, at less than a quarter of Fable 5.2's cost. Nobody should be laughing at Google anymore. (the next effort level drops soon in the thread 🧵) 🔗 View Quoted Tweet📊 9 ⚡
本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「中美大模型技术代差与商业化对照」「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Gemini 4、Bug Bunt Bench、Fable 5.2、Antigravity CLI,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Varun Mohan」(@_mohansolo),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 berryxia、IT之家、宝玉 等),属于近期高关注度行业信号。