研究显示 LLM 生成的世界模型可执行但结构保真度低
Evaluating LLM-Generated World Models for Neuro-Symbolic Reasoning
五个 LLM 把情境转成 POSG 世界模型，99% 能跑通但结构 F1 只有 0.366，能对上的参考不到两成。做规划或神经符号系统的开发者该看看，别只验证可执行性。
arXiv 论文（编号 2611.14419）评估五个 LLM 将开放自然语言情境转化为部分可观测随机游戏（POSG）形式世界模型的能力，基准包含 44 个横跨游戏、情境与文化设定的场景，共分析 410 次首轮生成。在带参考答案的游戏赛道中，135 个生成模型里有 134 个通过严格的机械有效性审计，但置换不变的结构 F1 均值仅 0.366，134 个机械有效的模型中只有 28 个与人工编写的参考完全匹配。文化赛道实验发现，在提示中显式写出国家名会改变大多数 LLM 生成的结构表示，而自动语义评分只有微小变化。论文结论是可执行性只是 LLM 生成世界模型的必要条件而非充分条件：机械上有效的模型在下游神经符号推理与规划所依赖的结构上仍可能有实质差异。这对将 LLM 用于规划、验证与安全推理形式化的团队意味着，仅靠通过形式化检查不足以保证模型忠实表示原始决策问题。
研究涉及机械有效性、与参考结构的相对一致性、语义标准三个评估维度，覆盖多智能体设定中同一情境可能存在多种合理形式化的难点。
Evaluating LLM-Generated World Models for Neuro-Symbolic Reasoning
Formal world models can support planning, verification, and safety reasoning, but constructing them from open-ended natural-language situations is difficult, particularly in multi-agent settings where several formalizations may be plausible. We study whether five LLMs can generate such world models as partially observable stochastic games and whether mechanical validity is sufficient to establish that the resulting model faithfully represents the intended decision problem. We introduce a benchmark of 44 scenarios spanning game, situational, and cultural settings and evaluate generated world models along three dimensions: mechanical validity, reference-relative structural agreement, and semantic criteria. Across three empirical tracks, we analyze 410 first-pass generations. In the reference-backed game track, 134/135 generated world models pass a strict mechanical audit, yet mean permutation-invariant structural F1 is only 0.366, with just 28/134 mechanically valid models exactly matching the authored reference. In the cultural track, explicitly naming the country changes the generated structural representation for most LLMs while producing only small changes in automated semantic scores. These results show that executability is a necessary but insufficient criterion for LLM-generated world models: models that are mechanically valid can still differ substantially in the structure used by downstream neuro-symbolic reasoning and planning.
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：世界模型、神经符号推理、LLM、POSG，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「arXiv cs.AI」（@Souhaila Djaffal, Amna Jamal, Gagana Madhugiri Devaraja, Anidipta Pal, Jobst Heitzig），经 AITOP 多维评分管线结构化提炼。
