ExtractBench是LlamaIndex最新发布的文档提取基准测试工具，专门用于评估各种文档提取API在处理复杂文档时的性能表现。这一基准测试的出现填补了文档提取领域缺乏标准化评估工具的空白。
ExtractBench 近期进展
2023年8月，LlamaIndex发布了ExtractBench基准测试，显示14个文档提取系统各有感知盲区，长列表提取F1仅为8.9%–35.8%。ExtractBench：14个文档提取系统各有感知盲区
2023年8月，LlamaIndex发布LlamaExtract Agentic Plus，文档抽取准确率达到95.6%，在ExtractBench测试中表现优异。LlamaIndex发布LlamaExtract Agentic Plus，文档抽取准确率95.6%
2023年8月，LlamaParse在视觉定位上碾压通用视觉模型，ExtractBench新基准显示其在处理旋转手写文档时表现突出。LlamaParse在视觉定位上碾压通用视觉模型，ExtractBench新基准发布
2023年8月，多数文档提取API在词级F1测试中表现不足50%，无法有效溯源提取内容。ExtractBench：多数文档提取API无法溯源，词级F1不足50%
当前焦点与观察点
ExtractBench的出现揭示了当前文档提取技术的局限性。测试显示，即使是领先的文档提取系统，在处理复杂布局、旋转文本和手写内容时仍面临巨大挑战。词级F1不足50%的数据表明，大多数系统在精确提取和溯源方面仍有很大提升空间。
LlamaIndex通过推出ExtractBench和Agentic Plus抽取层，试图解决这些问题。94%以上的准确率表明，结合代理技术的文档提取方法正在成为行业新趋势。ExtractBench的发布不仅为行业提供了评估标准，也为文档提取技术的进一步发展指明了方向。