事件专题 ·多源确认

LlamaIndex 发布 ParseBench-2:覆盖 6 大维度的文档解析基准

LlamaIndex 创始人 Jerry Liu 发布博客,阐述构建文档解析基准的 6 项设计标准:代表性数据、粒度、可量化、可重复、可控、与人类判断对齐,并回顾了从静态确定性指标到 LLM-as-a-judge 两类历史方案的缺陷。 团队上周推出 ParseBench-2,包含 4,317 页测试数据,覆盖表格、图表、版式、格式、文本和表单 6 个维度,其中 1,025 张图表配有完整参考表。评分方式改为先确定各类错误应占的权重,再通过 330 种扰动类型测试和调校评分,使其与人类判断一致。基准还提供 Metric Lab,用户可针对自身工作负载设置评分优先级。 博客坦承 ParseBench-1 的失误:曾在一份 McDonald's 财务报表上,给把金额数字断行的解析器打出高于完全解析正确的解析器的分数。该基准此前已被 NVIDIA、Cohere 和 Perplexity 引用,团队表示会快速迭代标注和指标质量。

当前结论

做 RAG 或文档处理的人应该看看这个。LlamaIndex 的 ParseBench-2 把 6 个维度的解析错误拆开量化,还给了 Metric Lab 让你按自己的业务调评分权重,比传统确定性指标和 LLM 评委都更贴近真实判断。

11 个信源43° AI 热度最后更新 2026/11/19 17:34:16

证据链

11 个信源
相关来源 6The Information
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。