Fable 5.2 在三项基准测试上超出趋势线

Ethan Mollick 发文称，Fable 5.2 在三项尚未饱和的基准测试上均高于已有趋势线。这三项基准分别是 ECI（由多个基准组合而成的复合指标）、Remote Labor（衡量端到端完成自由职业任务的能力）和 RoboDojo（涉及机器人控制）。这三项测试被认为信息量较大，且尚未达到饱和状态。 Remote Labor 和 RoboDojo 这类任务型基准相比传统知识问答更能反映模型在真实工作流程中的表现：前者要求模型完成完整的接单式工作，后者考验对物理机器人行为的控制。Fable 5.2 在这三项上同时超出趋势线，意味着其相对前代模型的提升幅度超过了此前各版本的平均节奏。 对于关注模型实际能力而非刷榜分数的用户来说，这类未饱和基准是观察代际进步的窗口。文中数据来自一条推文，未附完整评测细节，具体分数需查看原始图表链接。