tokenization 相关 AI 资讯 · AITOP · AI热报

8月19日

11:40

11:40

官方账号arXiv cs.LG@Yi Wang

该论文提出GPT模型在符号音乐领域表现不佳的原因在于使用了错误的坐标系进行压缩。研究建立了有效性-无损性框架，将标记化定义为构建预测有效且关系无损的坐标系。实验表明，序列压缩本身不能保证预测压缩，保留上下文自由度允许更高层次的音乐组织结构自然涌现。

论文 GPT-style models symbolic music tokenization

推荐理由：这篇论文解释了GPT模型在音乐领域的局限性，提出了新的标记化理论框架，对AI音乐生成研究很有启发。

8月13日

17:43

17:43

官方账号arXiv cs.AI@Avijit Roy, Proma Roy

论文以孟加拉语为例，分析AI教育工具在低连接环境中的结构性障碍。孟加拉语占全球人口近4%，但全球网页内容占比不足0.5%。主要多语语料库中，英语与孟加拉语的训练token比例达67:1。孟加拉语的元音附标文字还带来额外的token化惩罚，加剧数据短缺。农村地区个人互联网普及率为36.5%，城市为71.4%，形成连接排斥。

论文孟加拉语低资源语言 tokenization

推荐理由：这篇论文讲孟加拉语在AI基建里的吃亏，67:1的token差距和36.5%的农村联网率是硬数据。