RetroChessBench 基准发布：GPT 6 Astra 在国际象棋回溯推理中大面积失败

研究者推出 RetroChessBench，一个包含 12 项任务的回溯国际象棋基准，要求模型重建合法棋史并区分必然与可能事件。在每任务两次试验中，GPT 6 Astra High 无工具时 24 次尝试中仅 2 次给出正确最终答案，使用代码执行后也只改善到 6/24。终端 RL 奖励均值分别为 14.75% 和 27.19%。失败案例显示模型会拒绝合法棋史、把临时阻碍当作永久阻碍，研究者推测是网络训练数据缺乏此类详细推导文本所致。