Anthropic 公开安全评测方法:同一模型在 API 与 claude.ai 分数最多差 34 个百分点
这篇讲了怎么把安全评测做扎实:同一模型换个系统提示,分数能差 34 个点。Anthropic 把专家评分、多轮对话、样本量下限这些坑都摊开了,做模型评测或写系统卡的人都该看看。
这篇讲了怎么把安全评测做扎实:同一模型换个系统提示,分数能差 34 个点。Anthropic 把专家评分、多轮对话、样本量下限这些坑都摊开了,做模型评测或写系统卡的人都该看看。
智能体评测一直是个难题,Agent Arena 用真实轨迹信号替代人类偏好,做智能体开发的团队可以直接参考这套方法论来改进自己的评测体系。