技巧精选

Weaviate 重写文档以适配 AI Agent:正确示例命中率从 50% 升至 100%

精选理由

Weaviate 把自家文档改成 Agent 友好版,效果可量化:示例命中 50% 到 100%,轮次 23 降到 6。做技术文档或开发者工具的团队可以直接抄这套测量方法,比凭感觉改文档靠谱多了。

Weaviate 团队开始系统测量 AI Agent 阅读其技术文档时的效果,发现 Agent 看到的内容与人类存在明显差异。通过针对性改进,正确代码示例的召回率从约 50% 提升到 100%,Agent 找到正确方案的交互轮次从 23 次降到 6 次,页面加载的 token 消耗降低约 20%。

正文

这项工作的核心方法是:把文档当作 Agent 的输入来评估,观察 Agent 读取文档后得出什么结论,再根据测量结果迭代改写。团队指出,优秀开发者体验(DX)的原则没有变——最终仍是服务终端的人类开发者——但当 Agent 成为主要的文档消费者时,'好的 DX'的定义正在快速变化:文档需要同时针对人类可读性和 Agent 可解析性进行优化。

对维护技术文档的工程团队来说,这是一个可复用的信号:与其只凭人类直觉改文档,不如直接测量 Agent 的任务完成率和 token 成本,以此为指标做迭代。这类'面向 Agent 的文档优化'正在成为 DevRel 和开发者工具公司的新工作流,与 llms.txt、为 MCP 工具重写文档等实践属于同一趋势。

原文 · Weaviate

When agents write the code, what does developer experience mean? We can see it’s going to look very different as agents take over much of the work. Take our docs for example. We started to measure what the agents see when they read the docs, and what they conclude from them. And it showed some noticeable gaps, and differences from what humans see. By measuring, and improving them, we were able to systematically improve: - How often the right code examples were fetched (~50% → 100%) - How many turns it took an agent to get to the right solution (23 → 6). - Token use on page loads (by ~20%) But more importantly, this means the human at the end get the right information, more efficiently. The principles of good DX haven’t changed. We’re still serving the same goals: to help the human at the end of the line. But what “good DX” means - that’s rapidly changing. Read more: weaviate.io/blog/developer…📊 1 ⚡

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Weaviate、开发者体验、MCP/工具、技术文档,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Weaviate」(@weaviate_io),经 AITOP 多维评分管线结构化提炼。