Zed 实测 25 种 MCP 工具搜索方案,最终选择加权 BM25
Zed 拿 150 条查询对 536 个 MCP 工具跑了 25 种搜索方案,结论是老牌 BM25 就够用,不用调 API,做工具检索的可以参考。
Zed 团队测试了 25 种 MCP 工具搜索方案,涵盖决策模型、LLM 和嵌入向量三类方法。测试基准包含 150 条搜索查询,对照 536 个工具。最终方案是加权 BM25 加几条归一化规则,本地运行、速度快,不需要调用任何模型或 API。
We tested 25 approaches to MCP tool search, including decision models, LLMs, and embeddings. Our benchmark runs 150 search queries against 536 tools.
We settled on weighted BM25 with a few normalization rules. Fast, local, no model or API calls. https://t.co/CfITC8lZRl