主要来源arXiv cs.LG
查看原文事件专题 ·多源确认
9个LLM结构化输出失败实证研究:Markdown围栏是最大坑
研究覆盖 9 个 OpenAI 和 Anthropic 模型/API 配置,共 3,997 次生成尝试,任务来自 HotpotQA 和 FinanceBench。作者提出细粒度的 schema 失败分类法和确定性分类器,发现相同的有效率可能掩盖不同的失败模式。Markdown 围栏包裹的 JSON 是最常见失败:681 个围栏失败中仅 48.0% 在去围栏后能通过校验,其余多隐藏字段长度违规。研究总结了 4 条工程实践,涉及校验器、schema、重试和评估设计,并开源了分类器、补全记录和标注数据。
当前结论
如果你的 Agent 管线老被 Pydantic 校验卡住,这篇拿 9 个模型、近 4000 次调用跑出来的失败分析值得看看。
11 个信源36° AI 热度最后更新 2026/10/24 23:30:38
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。