论文11:20预训练LLM的原地分词器扩展方法想给模型加新语言但不想从头训？这篇论文的原地分词器扩展办法，让LFM2.5在印地语和越南语上token数砍半，解码快3倍，代码和权重都开源了。#分词器扩展#LFM2-8B-A1B#LFM2.5-8B-A1B#BPEaarXiv cs.AI@Jimmy T. H. Smith 等 10 人原文稍后读已读值得跟进有用关注 分词器扩展