行业

Hamel Husain:公开基准测试中 BenchGate 问题依然普遍存在

精选理由

评测圈的人都在传:随便翻几个公开 benchmark 的失败 trace,问题多到吓人。做模型评测的都该看看。

Hamel Husain 发帖指出 BenchGate 现象仍然广泛存在。他建议查看几乎所有公开基准测试中失败测试的少量 trace,会发现大量问题。这一说法针对当前各种公开 benchmark 的评测质量提出质疑。

原文 · Hamel Husain

BenchGate still exists and is very pervasive.

Look at a handful of traces from failing tests in almost any public benchmark you will be shocked.