#tokenizer

共 7 条 · 7 天 1 条 · 30 天 2 条

信息流里打上「tokenizer」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月15日

一篇挺硬核的表示学习论文：作者把 tokenizer 和生成模型放一起算 flop 效率，结果比 DINO 和 LeJEPA 更抗塌缩，还给出了 scaling 规律。

arXiv cs.LG@Alan Baade 等 7 人原文

10月1日

法国团队实测七种大模型语言溢价，推出法语优化tokenizer原型，比主流方案少用11.5% token。

arXiv: DeepSeek@Thomas Serval原文

8月19日

TokEval帮你更科学地评估分词器，实验显示不同特性影响不同能力，比盲目预训练更高效

arXiv cs.LG@Clara Meister原文

7月22日

产品精选12:10

Gigatoken解决了tokenization的瓶颈，训练前不用再傻等，速度提升非常明显。

Stanford AI Lab@StanfordAILab2 个信源在谈原文

产品多源确认79°04:25

Marcel Rød 搞了个 Gigatoken，比 HuggingFace 快上千倍，比 tiktoken 快百倍，跑 tokenizer 的抓紧试试。

Stanford AI Lab@StanfordAILab11 个信源在谈原文

7月1日

模型中美对照多源确认05:45

Anthropic 刚发了 Sonnet 5，性能接近 Opus 4.8 但更便宜，不过新 tokenizer 会让你的账单多掏 30%，用之前先算好账。

官方账号Simon Willison’s Weblog11 个信源在谈原文

5月20日

模型76°03:59

生物信息学研究者终于有了一个能跑全基因组的超快模型——Carbon 把处理时间从数周压缩到两天内，做基因组分析或蛋白质设计的团队可以直接用 demo 试效果。

Thomas Wolf@Thom_Wolf原文