LlamaIndex 发布 ParseBench-2 表单解析基准:600 页、244 套模板、2 万标注字段
做文档处理、RAG 数据入库的同学可以看看:LlamaIndex 造了个表单解析基准,244 套各国政府表单、2 万个标注字段,还能按自己业务调评分权重,测 OCR 或 VLM 都行,数据集在 Hugging Face 上直接下载。
LlamaIndex 推出 ParseBench-2 中的表单解析专项数据集,覆盖来自 30 个国家的 244 套政府表单模板,共 600 页、2 万个标注字段,标注类型包括文本、勾选框和签名。这个数据集已上架 Hugging Face,基准本身托管在 parsebench.ai,配套的技术报告发布在 llamaindex.ai 博客。
表单解析的核心难点在于没有统一模板:勾选框、签名、文本框等元素各有不同的呈现方式,一个好的解析器既要提取空白/已填写的字段值,又要给出精确的边界框坐标。为此团队设计了一套按严重程度加权的评估指标——空白字段必须保持空白、格式变化不计分、丢失一个签名计 5 分、数字填错最少计 10 分。团队同时鼓励使用者根据自身业务场景调整严重程度权重。
该基准指出无论是专用 OCR 引擎还是前沿大模型,在表单解析上都没有成熟方案,政府和金融等高频表单场景的团队可以用它来评估不同解析方案的适配度。
Parsing forms is a hard problem, whether with specialized OCR or frontier models. There is no standardization across various form templates. There are multiple form elements (e.g. checkboxes, signatures, text fields) that need to be represented in various ways. A good parser needs to both extract empty/filled form values along with exact bounding boxes. We’ve spent time carefully crafting a forms dataset within ParseBench-2. It consists of 600 pages from 244 government form templates across 30 countries, with 20K annotated fields (text, checkboxes, signatures). We also designed a forms metric that’s weighted by severity policies, like the following: - Blank fields have to stay blank - Formatting changes cost nothing - A lost signature counts 5 - A wrong number costs min 10 Different form extraction use cases will prioritize different errors more, and we encourage you to tune your own severity policies for form parsing. More details in our blog / tech report: llamaindex.ai/blog/introduci… Benchmark: parsebench.ai Available on Hugging Face! huggingface.co/datasets/llama…
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:LlamaIndex、ParseBench、OCR、RAG,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Jerry Liu」(@jerryjliu0),经 AITOP 多维评分管线结构化提炼。