ParseBench-1

general · 首次出现 2026-11-12 · 最近出现 2026-11-17 · 累计提及 9

综述

ParseBench-1 是 LlamaIndex 推出的文档解析基准测试的第一代版本,用于衡量 OCR 与文档解析工具在表格、版式等任务上的准确性。随着 LlamaIndex 已发布其迭代版本 ParseBench-2,ParseBench-1 作为该评测体系的开端,为后续按维度细分、按错误严重度加权的评测方法奠定了基础。文档解析是 RAG 与 Agent 应用中常被低估的环节,这类基准的出现在一定程度上填补了该环节缺乏统一衡量标准的空白。

ParseBench-1 的演进:ParseBench-2 的发布

LlamaIndex 创始人 Jerry Liu 近期连续披露了 ParseBench 体系的更新。其中一条动态提到 LlamaIndex 发布 ParseBench-2 与 OCRia-1.5 文档解析模型,说明基准与自家模型同步迭代(LlamaIndex 发布 ParseBench-2 与 OCRia-1.5 文档解析模型)。

新一代基准在评测维度和覆盖范围上明显扩展:官方称 ParseBench-2 以 6 个维度评测 40 款 OCR 工具,覆盖对象远超第一代(LlamaIndex 发布 ParseBench-2:6 维度评测 40 款 OCR 工具)。同时,新版引入了按错误严重度加权的评分方式,不再把所有解析错误一视同仁(LlamaIndex 发布 ParseBench-2:按错误严重度加权评估文档表格解析)。

当前焦点与观察点

值得注意的是,Jerry Liu 同时强调不应盲目信任基准测试,用户应当能够将自己的偏好编码进评估之中(原文标题)。这句话透露出 LlamaIndex 的产品思路:基准不只是排行榜,而是可配置的评估框架,允许使用者根据自身文档类型和容错需求调整权重。

从 ParseBench-1 到 ParseBench-2 的迭代路径可以看出三个趋势:评测从单一分数走向多维拆解,错误处理从等权走向分级加权,评测与模型发布(OCRia-1.5)开始绑定出现。这也带来一个观察点——由解析模型厂商自建并维护基准,其公允性难免被讨论,第三方复核和更广泛的社区参与会是后续值得关注的方向。

相关报道

6 条在档