产品Agent 与开发者多源确认精选09:22GraphTok：GPU加速的LLM分词器GraphTok把分词从CPU移到GPU，在121k-token流量下每秒处理518个请求，比gigatoken提升75%。#GraphTok#vLLM#tokenization#LLM serving5 个信源在谈事件专题aarXiv: DeepSeek@Mohammad Siavashi 等 6 人6 个信源在谈原文稍后读已读值得跟进有用关注 GraphTok
技巧Agent 与开发者多源确认09:22ttok 0.4 发布新功能Simon 发布了 ttok 0.4，现在可以列出可用模型，还能通过管道快速计算文件 token 数。#ttok#tiktoken#tokenization#OpenAI8 个信源在谈事件专题S官方账号Simon Willison’s Weblog9 个信源在谈原文稍后读已读值得跟进有用关注 ttok
论文11:40GPT模型为何难以直接迁移到符号音乐这篇论文解释了GPT模型在音乐领域的局限性，提出了新的标记化理论框架，对AI音乐生成研究很有启发。#GPT-style models#symbolic music#tokenization#音乐生成aarXiv cs.LG@Yi Wang原文稍后读已读值得跟进有用关注 GPT-style models
论文17:43结构性沉默：AI基础设施如何忽视孟加拉语等低资源语言这篇论文讲孟加拉语在AI基建里的吃亏，67:1的token差距和36.5%的农村联网率是硬数据。#孟加拉语#低资源语言#tokenization#多语语料库aarXiv cs.AI@Avijit Roy, Proma Roy原文稍后读已读值得跟进有用关注 孟加拉语