Databricks 用 GPT-6 Astra 与 Opus 5 智能体登顶 NVIDIA SOL-ExecBench 榜首
Databricks 让 GPT-6 Astra 和 Opus 5 自己迭代写 GPU kernel,全部 4 个 track 干到 NVIDIA 榜第一,只花了 7 万美元 token 钱。
Databricks 团队在 NVIDIA SOL-ExecBench GPU kernel 排行榜的全部 4 个 track 上拿下第一。方法是让 GPT-6 Astra 和 Opus 5 在自我爬坡循环中迭代生成 kernel,成绩超过顶级 GPU kernel 工程师。总 token 花费约 7 万美元,远低于 kernel 工程师的薪资。团队还指出,这两个模型在写 GPU kernel 上仍明显强于开源模型。
We @databricks now rank #1 on NVIDIA’s SOL-ExecBench kernel leaderboard, across all 4 tracks.
We put GPT-6 Astra and Opus 5 in a self-hillclimbing loop, and the agents beat the top GPU kernel engineers.
Total toten spend: ~$70K, far less than what kernel engineers get paid.
One learning: GPT-6 Astra and Opus 5 are still much better than OSS models at writing GPU kernels.