Chunk(分块)指在 RAG(检索增强生成)系统中,把长文档切分成较小文本片段的处理环节,是决定检索质量和 token 成本的基础步骤,常被称为构建 AI 应用时最容易被忽视的决策之一。分块的大小、重叠方式与切分策略,直接影响向量检索的召回精度和下游大模型的回答质量,因此随着 RAG 应用普及,Chunk 策略正从工程细节变成独立的优化议题。
Chunk 近期进展
当前焦点与观察点
围绕 Chunk 的讨论目前集中在三点:一是分块大小的调优,行业共识是从经验试错走向基于语义边界(如标题、段落)的自适应切分;二是规模成本,随着索引规模扩大到千万级 Chunk,存储压缩和检索效率成为与分块策略同等重要的工程问题;三是评估方法,arXiv 上关于 RAG 系统在乳腺病灶领域检索评估的研究提示,标注基准(ground truth)的质量会影响检索分数的可信度,这意味着 Chunk 策略的优劣难以脱离可靠的评估集来判断。观察后续动向,值得关注文档解析范式的标准化,以及 Agent 场景下“为省 token 而重新设计 Chunk”是否会成为主流做法。