tokenizer（分词器）是大语言模型处理文本的第一道工序，负责把原始字符串切成模型能理解的子词单元并映射为整数 ID，它的切分方式直接决定模型看到的世界。
tokenizer 近期进展
近期的工具链更新集中在效率与评估两端。斯坦福 AI 实验室发布的 Gigatoken 宣称把训练前的 tokenization 环节从需要等待变成近乎即时，速度提升数量级，这对动辄处理万亿 token 的预训练流程是实际收益（Gigatoken让训练前tokenization不再等待）。与此同时，arXiv 上出现的 TokEval 试图把分词器评估标准化，让不同切分方案有可比指标，改变过去只能靠下游任务反推分词质量的做法（TokEval: 分词器评估套件）。
模型侧的动向也在间接回应分词问题。德国 Aleph Alpha 的开源模型 Kolibri 给出 78B 参数、1M 上下文的配置，长上下文场景下分词效率与词表设计的影响被放大（Aleph Alpha 发布开源模型 Kolibri）。DeepSeek 相关研究提出的 Tokenizer 无关 Engram 记忆模块，则尝试让记忆机制绕开具体分词方案，减少换词表就得重训的绑定（Tokenizer无关的Engram记忆模块）。
当前焦点与观察点
争议集中在跨语言公平性。OpenAI 参与的一项研究把印度语言在子词分词中承担的额外代价量化为 Tokenizer Tax，指出同一句话在不同语言下消耗的 token 数差异可达数倍，直接换算成推理成本与上下文占用（Tokenizer Tax：量化印度语言子词分词的跨语言代价）。另一项针对 2026 年大模型法语的研究同样观察到语言溢价现象（2026大模型法语语言溢价研究）。
价格战让这类差异更受关注。Claude Haiku 5.5 发布时 token 价格最高下降 90%，说明单位 token 成本仍是竞争焦点，而分词效率决定了同样文本要付多少 token（Claude Haiku 5.5 发布）。此外，Cursor 被质疑用开源 GLM 训练的传闻，也把词表与分词指纹当作模型血缘鉴别的线索（匿名牛大模型血缘揭秘）。观察点在于：分词器是否会被更强的无分词或字节级方案部分取代，以及评估标准能否真正落地。