arXiv 论文拆解 tokenization 评测三大误区
做 tokenizer 研究或选词表大小的都该看看：BPB 和那些"tokenizer 无关"指标没你想的那么可靠，文中给出了 0.989 相关性崩到 0.057 的具体分析。
#词表
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「词表」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月4日
做 tokenizer 研究或选词表大小的都该看看：BPB 和那些"tokenizer 无关"指标没你想的那么可靠，文中给出了 0.989 相关性崩到 0.057 的具体分析。