#分词算法

分词器也能流式跑了：新算法对比 tiktoken，首 token 延迟最高快 34.8 倍，内存还不随输入长度涨。

这篇论文很硬核，专门拆解了两种分词算法的优劣，对做大模型的研究者很有参考价值。