Chunk

general · 首次出现 2026-05-22 · 最近出现 2026-10-27 · 累计提及 33

综述

Chunk(分块)指在 RAG(检索增强生成)系统中,把长文档切分成较小文本片段的处理环节,是决定检索质量和 token 成本的基础步骤,常被称为构建 AI 应用时最容易被忽视的决策之一。分块的大小、重叠方式与切分策略,直接影响向量检索的召回精度和下游大模型的回答质量,因此随着 RAG 应用普及,Chunk 策略正从工程细节变成独立的优化议题。

Chunk 近期进展

  • Pinecone 谈 RAG 分块大小:构建 AI 应用最易被忽视的决策:向量数据库厂商 Pinecone 强调,分块大小是许多团队容易忽略却对检索效果影响显著的参数——块太大容易稀释语义、混入噪声,块太小则丢失上下文。这一讨论推动社区从“固定长度切分”转向按语义结构分块。
  • Meet LEANN: An Open-Source Vector Index that Shrinks a 60M-Chunk RAG Index from 201 GB to 6 GB:开源向量索引项目 LEANN(MLSys 2026 论文)展示,一个包含 6000 万个 Chunk 的 RAG 索引,存储占用可从 201 GB 压缩到 6 GB,说明当 Chunk 数量达到千万级时,索引本身的存储与成本压力已成为新的瓶颈。
  • Kena 自建网页索引,为 Agent 提供更省 token 的搜索:面向 Agent 的搜索方案开始自建网页索引,通过优化 Chunk 的组织方式减少送入模型的 token 数量,反映分块优化正在与 token 成本控制直接挂钩。
  • LandingAI 先分类后抽取的文档解析范式:在文档解析场景中,“先分类、后抽取”的范式被提出,即先判断文档类型再做结构化切分,本质上是让 Chunk 的生成更贴合文档自身结构,而非机械按字符数切割。
  • 当前焦点与观察点

    围绕 Chunk 的讨论目前集中在三点:一是分块大小的调优,行业共识是从经验试错走向基于语义边界(如标题、段落)的自适应切分;二是规模成本,随着索引规模扩大到千万级 Chunk,存储压缩和检索效率成为与分块策略同等重要的工程问题;三是评估方法,arXiv 上关于 RAG 系统在乳腺病灶领域检索评估的研究提示,标注基准(ground truth)的质量会影响检索分数的可信度,这意味着 Chunk 策略的优劣难以脱离可靠的评估集来判断。观察后续动向,值得关注文档解析范式的标准化,以及 Agent 场景下“为省 token 而重新设计 Chunk”是否会成为主流做法。

    相关报道

    10 条在档