模型精选

1017 在 WeirdML 上不及 Sol-xhigh,仅与 Grok 4.7 持平

精选理由

1017 和 Sol-xhigh、Grok 4.7 在 WeirdML 上的横向对比来了,还聊了 tokens 消耗和 Codex 表现,评测党可以看看。

博主 teortaxesTex 分享了对模型 1017 在 WeirdML 基准上的评测结果:1017 表现明显落后于 Sol-xhigh,只与 Grok 4.7 相当。不过他指出测试用的是 1017 high 档,且从趋势看该模型尚未接近性能上限,单任务 50M tokens 的消耗对 Whale 级别的胃口不算什么。他还提到 1017 在 Codex 相关任务上表现很强。

原文 · Teortaxes

1017 does much worse than Sol-xhigh, merely on par with Grok 4.7 otoh this is 1017 *high*, and this trajectory doesn't look like it's close to saturation. 50M tokens/task is nothing with Whale appetites. WeirdML remains strong. I don't think Codex matters a lot, it's strong there https://t.co/KY2TDsnIEh