在线分词实现最优延迟：对 tiktoken 首 token 延迟最高快 34.8 倍

arXiv 论文（2610.19139）形式化了在线分词问题，提出延迟指标衡量输出滞后于最优解的程度。作者给出近线性时间算法，延迟在常数因子内最优，并证明除非 P=NP，多项式时间算法无法将延迟再改进超过常数倍。实现版本兼容 OpenAI 的 tiktoken 与 HuggingFace 的 tokenizers，以首 token 时间计延迟较 tiktoken 快 7.9 到 34.8 倍。吞吐量较 tiktoken 提升 2.4 到 7.0 倍，较 tokenizers 提升 15.8 到 38.1 倍，内存占用近似恒定、不随输入规模增长。该实现同样超过近期的 gigatoken 分词器。