Parallel 开源搜索评测框架,量化模型接入搜索后的真实提升
做搜索类 Agent 的开发者可以拿它当标尺:同一模型开关搜索对比跑分,还能换成自己的业务题。榜单数据有意思——Claude Fable 5.2 分最高,GPT-6.1 Terra 最省钱,选型时两个维度都得看。
Parallel 开源了 parallel-search-evals,一个用于评测模型使用搜索工具能力的框架,采用 MIT 许可。核心方法是让同一个模型分别在关闭工具和允许搜索的条件下答题,再比较结果差异。公开榜单显示,接入搜索后模型平均提高 34.4 分,其中 Claude Fable 5.2 以 80.1 的综合分领先,而达到中位数以上的模型中 GPT-6.1 Terra 成本最低,每千道任务约 43.7 美元。
框架在技术上对评测流程做了严格控制:每次运行固定一个模型、一套题目和一种搜索模式,支持 turbo、fast、basic、advanced 四种搜索模式加无工具基线。模型可调用两个工具——Search 返回最多 10 条附带正文摘录的结果,Extract 从最多 20 个指定网址提取内容,每题最多 20 次工具调用、25 轮研究。参考答案只交给评分器,不进入答题过程,评分使用 GPT-6 Sol,因此衡量的是模型选择工具、获取证据、形成答案的整体能力,而不只是搜索接口质量。
项目支持 OpenRouter 以及 OpenAI、Anthropic、Google 原生接口,题目集、Agent 执行流程和评分器相互分离,开发者可以替换问题、参考答案和评分规则来测试自己的业务问题。目前内置 DeepSearchQA 和 Humanity's Last Exam 的纯文本题,仓库还附带供 Claude Code、Codex 使用的技能说明。对开发者来说,这套框架回答的是哪些模型更善于使用这套搜索工具,而不是所有搜索服务之间的排名。
Parallel 开源搜索评测框架:模型接入搜索后,到底强了多少? 给模型接上搜索,不等于它就能把研究任务做好。还需要判断何时搜索、如何提问、哪些网页值得继续读取,以及证据是否够支撑答案。 @p0 开源 parallel-search-evals,就是把这条链路放进可重复运行的评测中,衡量搜索对最终答案的帮助,以及为此付出的成本。 # 不只测搜索结果,更测模型能否用好搜索 核心方法:让同一个模型分别在关闭工具、允许搜索的条件下答题,再比较结果。每次运行固定一个模型、一套题目和一种搜索模式,支持 turbo、fast、basic、advanced,也支持不使用工具的基线。 模型可以调用两个工具:Search 根据自然语言目标和关键词,返回最多 10 条附带正文摘录的结果;Extract 从最多 20 个指定网址提取内容。每题最多执行 20 次工具调用、进行 25 轮研究,预算用尽后再关闭工具,让模型给出最终答案。参考答案只交给评分器,不进入答题过程。 因此,它衡量的不只是搜索接口的质量,是「模型选择工具、获取证据、形成答案」的整体能力。 # 可以换上自己的业务问题 项目采用 MIT 许可,支持 OpenRouter,以及 OpenAI、Anthropic、Google 的原生接口,也能接入兼容 OpenAI 的服务。 更重要的是,题目集、Agent 执行流程和评分器相互分离。开发者可以替换问题、参考答案和评分规则,在统一预算下测试自己的业务。仓库还附带供 Claude Code、Codex 使用的技能说明,帮助完成运行、续跑和结果整理。 目前内置 DeepSearchQA 和 Humanity’s Last Exam 的纯文本题,数据需按各自条款准备。评分使用 GPT-6 Sol:前者允许部分得分,后者按严格对错判断。 # 最高分和最低成本,未必来自同一个模型 Parallel 的公开榜单比较不同模型使用 Parallel Search Fast 与 Extract 的表现。在这组测试中,接入搜索后平均提高 34.4 分;Claude Fable 5.2 以 80.1 的综合分领先,而达到中位数以上的模型中,GPT-6.1 Terra 成本最低,每千道任务约 43.7 美元。 榜单还加入了团队的 WISER 业务研究题,每套各抽取 100 题。因此,它回答的是哪些模型更善于使用这套搜索工具,而不是所有搜索服务之间的排名。 官方博客 parallel.ai/blog/parallel-… 开源仓库 github.com/parallel-web/p… 搜索能力榜单 parallel.ai/leaderboard Parallel @p0 x.com/i/article/2122… 🔗 View Quoted Tweet📊 3 ⚡
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Parallel、搜索评测、Claude、GPT-6.1,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「shao__meng」(@shao__meng),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 TestingCatalog、Yuchen Jin、kimmonismus 等),属于近期高关注度行业信号。