Jerry Liu谈基准测试分类：前沿智能与专用智能各有侧重

LlamaIndex 创始人 Jerry Liu 提出基准测试可分为两类：一类是 TerminalBench、GDPval 这类衡量前沿智能的基准，准确率优先于成本；另一类是衡量专用智能的基准，重点看成本与准确率的帕累托曲线。他指出前沿模型在高算力档位上往往已能在第二类基准上饱和，但价格让人难以接受。LlamaIndex 为文档任务自建了 ParseBench 和 ExtractBench，并推出更难的 ExtractBench Pro，开始同时投入两类基准的研究。