产品精选

GitHub 开源 ReviewBench:基于 1.039 亿条 PR 的代码审查评测基准

精选理由

GitHub 基于上亿条真实 PR 做了个 ReviewBench,能测你的 AI 代码审查工具是不是只会刷评论,自己动手就能跑。

GitHub 发布了开源基准 ReviewBench,数据来自对 103.9M 条 GitHub pull request 的分析,最终选出 219 个 PR、覆盖 19 种编程语言。它用于检验 AI 代码审查工具能否发现真正重要的问题,同时不产生噪音评论。开发者可以带上自己的代码审查智能体跑评测并提交结果。

图片来源 · GitHub
原文 · GitHub

How do you know whether an AI code reviewer catches the issues that matter without adding noise? ReviewBench is a new open benchmark shaped by analysis of 103.9M GitHub pull requests, with 219 PRs across 19 languages. Bring your own code review agent, evaluate it, and submit your results ⬇️ github.blog/ai-and-ml/gith… 💬 6 🔄 2 ❤️ 12 👀 6385 📊 8 ⚡