论文精选
Epoch 更新能力指数 ECI，改用贝叶斯方法提升模型对比精度
精选理由
Epoch 把 ECI 换成贝叶斯方法了，比较实力接近的模型时更靠谱，做模型选型的人可以看看
Epoch AI 宣布更新其模型评估工具 Epoch Capabilities Index（ECI），改用贝叶斯方法计算。新方法改进了对模型能力不确定性区间的估计，使 ECI 区间有重叠的模型之间也能更准确地比较。更新后前沿模型得分基本稳定，强于 GPT-4 的模型平均变动不到 1 个 ECI 点。
原文 · Epoch AI
We’ve updated the Epoch Capabilities Index (ECI) to use a Bayesian methodology. This improves uncertainty estimates and lets us compare models more accurately, even when their individual ECI uncertainty intervals overlap.
Frontier model scores are largely unchanged: models stronger than GPT-4 move by less than 1 ECI point on average.
