#tiktoken

共 3 条 · 7 天 1 条 · 30 天 2 条

BPE 1 HuggingFace 1 OpenAI 1 tokenization 1 ttok 1 分词算法 1

信息流里打上「tiktoken」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月15日

论文 Agent 与开发者多源确认精选09:13

在线分词实现最优延迟：对 tiktoken 首 token 延迟最高快 34.8 倍

分词器也能流式跑了：新算法对比 tiktoken，首 token 延迟最高快 34.8 倍，内存还不随输入长度涨。

#tiktoken #HuggingFace #BPE #分词算法

arXiv: OpenAI@Mina Dalirrooyfard, Christopher Ye9 个信源在谈原文

10月9日

技巧 Agent 与开发者多源确认09:22

ttok 0.4 发布新功能

Simon 发布了 ttok 0.4，现在可以列出可用模型，还能通过管道快速计算文件 token 数。

#ttok #tiktoken #tokenization #OpenAI

官方账号Simon Willison’s Weblog9 个信源在谈原文

6月10日

论文中美对照官方一手精选12:55

用 Streaming、Pandas 和 tiktoken 构建 NVIDIA Nemotron 代码数据集管道

做代码预训练或大规模数据处理的研究人员可以直接复用这套管道，省去下载和解析海量元数据的麻烦，值得一试。

#NVIDIA #Nemotron-Pretraining-Code-v3 #代码数据集 #流式处理

官方一手marktechpost@Sana Hassan10 个信源在谈原文