事件专题 ·多源确认

9个LLM结构化输出失败实证研究:Markdown围栏是最大坑

研究覆盖 9 个 OpenAI 和 Anthropic 模型/API 配置,共 3,997 次生成尝试,任务来自 HotpotQA 和 FinanceBench。作者提出细粒度的 schema 失败分类法和确定性分类器,发现相同的有效率可能掩盖不同的失败模式。Markdown 围栏包裹的 JSON 是最常见失败:681 个围栏失败中仅 48.0% 在去围栏后能通过校验,其余多隐藏字段长度违规。研究总结了 4 条工程实践,涉及校验器、schema、重试和评估设计,并开源了分类器、补全记录和标注数据。

当前结论

如果你的 Agent 管线老被 Pydantic 校验卡住,这篇拿 9 个模型、近 4000 次调用跑出来的失败分析值得看看。

11 个信源36° AI 热度最后更新 2026/10/24 23:30:38

证据链

11 个信源
相关来源 7Anthropic: Research
查看原文
相关来源 10VnExpress Số hóa
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。