论文

评论人质疑 CritPt 基准未修正,称其无法可靠衡量模型进步

精选理由

有人公开吐槽 CritPt 基准失效了,说从 GPT 5.4 起就测不出真实差距,看看你是否也一直被它误导。

评论账号 teortaxesTex 发文批评 CritPt 基准至今未做修正,认为引用未修正版本会给人该基准尚未饱和的错觉。他表示这是自己在评测领域最大的失望之一,认为 CritPt 至少从 GPT 5.4 开始就无法可靠地衡量模型进展。该帖质疑社区继续引用该基准的做法。

原文 · Teortaxes

Why are we still citing uncorrected CritPt? Just because it gives the false impression of not being saturated? Enough of this BS. One of my biggest disappointments in evals, it can't reliably measure progress since at least GPT 5.4. https://t.co/aUwbzXYd2u