Gigatoken 相关 AI 资讯 · AITOP · AI热报

7月23日

16:10

16:10

官方一手marktechpost@Asif Razzaq

Gigatoken是一款MIT许可的Rust BPE分词器，在144核AMD EPYC 9565上实现GPT-2分词速度24.53 GB/s。相比HuggingFace分词器快989倍，比tiktoken快681倍，且这些基线本身已用多线程Rust实现。性能提升来自手写SWAR预分词器和预缓存技术，而非更快的BPE合并循环。该工具可大幅加速文本编码流程。

AI产品 Gigatoken Rust BPE分词器

推荐理由：想给大模型训练或推理提速？这个HuggingFace分词器速度近千倍的开源Rust工具值得一试。

7月22日

12:10

12:10

Stanford AI Lab@StanfordAILab

精选

斯坦福AI实验室的Tatsunori Hashimoto介绍了Gigatoken，一个超快速的tokenizer。它通过贴近硬件和编写状态机，将tokenization速度提升了数量级。研究者表示再也不需要等待tokenization完成再开始训练。

AI产品 Gigatoken tokenizer 斯坦福AI实验室

推荐理由：Gigatoken解决了tokenization的瓶颈，训练前不用再傻等，速度提升非常明显。

04:25

04:25

Stanford AI Lab@StanfordAILab

79°

Marcel Rød 发布了 Gigatoken，自称是世界上最快的 tokenizer 实现。该实现比 HuggingFace 快 500-1000 倍，比 OpenAI 的 tiktoken 快约 100 倍，而这些基线已经是多线程 Rust 实现。Gigatoken 适用于大多数 tokenizer 定义和机器。Marcel 也是斯坦福 CS 336 课程（从头实现 LLM）的合著者。

AI产品 Gigatoken Marcel Rød tokenizer

推荐理由：Marcel Rød 搞了个 Gigatoken，比 HuggingFace 快上千倍，比 tiktoken 快百倍，跑 tokenizer 的抓紧试试。