Nathan Lambert 发文评基准测试行业：开放模型被低估的说法被夸大
精选理由
Nathan Lambert 写了篇关于 LLM 基准测试的综述，说旧 AA 指数抬高了开放模型分数，还主张按任务拆分评估指数，做模型选型的可以看看。
Nathan Lambert 发布一篇关于基准测试行业的 meta-review，指出旧版 AA 指数确实抬高了开放模型的评分。他认为开放模型走向衰落被夸大，但行业需要更细分的智能评估指数。理由是 LLM 在不同任务上的表现差异很大，单一指数难以反映真实能力。
原文 · Nathan Lambert
Open models' demise has been greatly exaggerated, but the previous AA index did flatter them. As an industry we need more specific intelligence indices, as LLMs are used in vastly different tasks.
My meta-review on the benchmarking industry. https://t.co/7lT09ijAqj
