论文官方一手

英国 AISI 与 EvalEval 推进基准测试结果可复现

How UK AISI and EvalEval Are Making Benchmark Results Reproducible

精选理由

评测榜单上的数字经常复现不出来,英国 AISI 和 EvalEval 干的就是帮你重新跑一遍验证,搞评测的可以看看。

英国 AI 安全研究所(UK AISI)与 EvalEval 合作,让基准测试结果可以被第三方复现。EvalEval 平台对模型评测结果进行独立重跑验证,减少论文或榜单中数字无法复现的问题。这套流程已在实际基准评测中落地运行。

图片来源 · Hugging Face: Blog