Allen AI 发布 StateBench：GPT-6 Sol 与 Claude Opus 5.5 状态追踪准确率仅 13%
精选理由
Allen AI 做了个新基准 StateBench，专门考模型能不能跟上长文本里的状态变化，结果 GPT-6 Sol 和 Claude Opus 5.5 在最难题目上准确率只有 13%，挺扎心的。
Allen AI 推出 StateBench，评测 LLM 在长文本中追踪状态变化的能力，如物品易手或变量重新赋值。在最难、最长的题目上，GPT-6 Sol 和 Claude Opus 5.5 等前沿模型准确率降至 13% 或更低。该评测聚焦现有基准较少覆盖的状态追踪维度。
原文 · Allen AI (Ai2)
Can LLMs track state changes over long texts—like an object changing hands or a variable reassignment?
On our new StateBench eval, frontier models including GPT-6 Sol & Claude Opus 5.5 fell to 13% accuracy or lower on the hardest, longest problems. 🧵
https://t.co/vrGYHND3LN https://t.co/bp7c3ibA5P
