Jason Wei：用 Claude 重新搜索后发现遗漏 36% 的基准评测
Jason Wei 自己维护的评测清单，让 Claude 再搜一遍就多挖出 36% 的 benchmark。做调研或评测追踪的人可以参考，同时也提醒我们：花哨网页和长 PDF 还是会漏，得人工补。
AI 研究者 Jason Wei 在 X 上表示，其维护的基准评测追踪清单的初版遗漏了大量评测项目。改用 Claude 进行更深入的搜索后，新版本多发现了 36% 的 benchmark 提及记录。他同时承认该方法仍有盲区：带有复杂 UI 元素的博客文章和长篇 PDF 中的评测信息依然难以被捕捉。他调侃称，或许需要为“创建基准评测”本身做一个基准评测。这条推文展示了大模型在信息检索类任务中作为研究助手的实际效果与局限。
对做评测追踪或文献调研的开发者来说，这条经验有两个直接参考点：一是让模型“搜索得更用力”（更长的 agentic 搜索）能显著提升召回率，36% 的增量说明单次检索远远不够；二是表格、动态 UI 和 PDF 仍是当前模型抓取信息的薄弱环节，需要人工兜底。
Turns out my initial version missed a lot of evals. Claude searched harder and found 36% more mentions of benchmarks: https://t.co/ONtgbBuwEs
It still misses blog posts with fancy UI elements, long PDFs, etc. Guess we need a benchmark for creating benchmark benchmark...
本条情报归属 AITOP「技巧」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Claude、Jason Wei、benchmark、提示词工程，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「Jason Wei」（@_jasonwei），经 AITOP 多维评分管线结构化提炼。
