AITOPAI热报

评估工具

共 8 条相关 AI 资讯
9月3日
08:02
9月1日
07:48
07:48官方一手marktechpost@Asif Razzaq
Keenable AI 开源了 NEEDLE 基准测试工具，每小时重建一次查询集。该基准专门解决搜索 API 读取答案键的问题。测试对象包括具有获取工具的搜索智能体。基准测试防止模型直接下载公共数据集跳过检索过程。
论文NEEDLEKeenable AI搜索基准
推荐理由：Keenable AI 发布了 NEEDLE 基准，每小时更新查询集，防止搜索模型作弊跳过检索步骤。
原文
8月27日
01:25
7月13日
10:31
10:31shao__meng@shao__meng
精选
Minko Gechev 发布了 Skillgrade 2.0，一款全局安装的 CLI 工具，专门用于给 AI Agent 的 Skill 编写和执行单元测试。它采用确定性评分器（占 70% 权重）与 LLM Rubric 评分器（占 30% 权重）混合打分模型，分别检查结果“对不对”和过程“好不好”。内置 --smoke（5 次试验）、--reliable（15 次）、--regression（30 次）三档预设，支持 Docker 隔离或 local 运行，CI 中可通过 --threshold=0.8 自动判定通过率。工具兼容 Gemini、Claude、Codex 及自定义 CLI 智能体，并已实现自举（用自身评估自身仓库技能）。
技巧Skillgrade智能体评估工具
推荐理由：写 Agent Skill 总翻车？用 Skillgrade 2.0，像加单测一样自动评估你的 Skill 质量，CI 集成还带阈值阻拦，比手动试错高效多了。
原文
6月13日
00:22
6月12日
11:49
11:49官方一手AWS Machine Learning Blog@Ishan Singh
精选
AWS 发布了 Agent-EvalKit，一个基于 Apache 2.0 的开源工具包，用于系统评估 AI 智能体。它集成了 Claude Code、Kiro CLI 和 Kilo Code 等 AI 编程助手，提供六个评估阶段来全面测试智能体性能。文章以 Strands Agents SDK 和 Amazon Bedrock 构建的旅行研究智能体为例，展示了如何应用该工具。Agent-EvalKit 解决了智能体评估缺乏标准化的问题，帮助开发者量化智能体的准确性和可靠性。
AI产品智能体评估工具开源/仓库
事件专题
推荐理由：做 AI 智能体开发的团队终于有了标准化的评估工具——Agent-EvalKit 覆盖六个阶段，直接集成主流编程助手，建议做智能体项目的开发者试试。
原文
6月4日
04:44
04:44官方账号LangChain@LangChainAI
LangSmith Engine 能够自动发现并突出显示系统中的问题，而不是让它们隐藏在追踪记录中。ListenLabs 的 Ollie Elmgren 分享了该工具如何改变其团队评估智能体的方式。该引擎通过自动化问题检测，帮助团队更高效地识别和解决系统性问题，从而提升智能体的可靠性和性能。
AI产品LangSmith智能体评估工具
推荐理由：做 AI 智能体评估的团队终于不用手动翻 trace 找 bug 了——LangSmith Engine 自动暴露系统性问题，ListenLabs 已经用上了，建议做 agent 开发的团队点开看看。
原文
5月31日
01:42