事件专题 ·官方一手

SecPRBench:用真实漏洞提交评测智能体代码审计能力

论文提出 SecPRBench,首个基于真实 bug 引入提交的智能体安全代码审计基准,通过自动化流水线采集、构建并验证漏洞提交,目前已收集 265 个任务,覆盖 Firefox、V8、OpenSSL 等九个关键系统。评测八款前沿模型,召回率在 32.5% 到 78.1% 之间,Grok 4.6 和 GPT-6 sol 排名靠前。研究还发现 68% 的漏报案例中智能体定位到了含漏洞的文件,但给出的漏洞机制判断错误。安全专用配置表现分化:OpenAI 的 Codex Security 因更多弃答使召回率下降 8.3 个百分点,Anthropic 的 Defending Code 配置则提升 7.7 个百分点,但成本更高。

当前结论

想知道 Claude 或 GPT 审代码到底能不能抓到真漏洞?这篇基准测了八款模型,265 个来自 Firefox、OpenSSL 的真实漏洞提交,结果差异挺大。

11 个信源51° AI 热度最后更新 2026/10/24 07:32:42

证据链

11 个信源
相关来源 7Artificial Analysis
查看原文
相关来源 8The Information
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。