主要来源Jerry Liu
查看原文事件专题 ·单一信源
LlamaIndex 将 OCRia-1 在单张 B200 上提速 10 倍
LlamaIndex 的文档解析模型 OCRia-1 在单张 B200 上从 285 tok/s 提升到 2800 tok/s，速度提高约 10 倍。团队用量化与 dflash2 投机解码同时降低显存占用并提高吞吐。另有 17 项小优化，包括 replaySSM、kernel fusion 和 vLLM 改动，每项带来 2–5% 的提升，累积效果显著。部分优化计划回馈开源 vLLM 项目，LlamaParse 的整体延迟也会继续下降。
当前结论
LlamaIndex 把 OCRia-1 在一张 B200 上跑出 2800 tok/s，17 个小优化加量化和投机解码，做推理优化的人可以照抄作业。
2 个信源41° AI 热度最后更新 2026/11/3 19:16:26
证据链
2 个信源相关来源 1LlamaIndex
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。