非拉丁语系文本消耗 token 最多可达英文的 17 倍
精选理由
用泰文或中文调 API 的朋友注意了：同样一段话，token 可能比英文多花十几倍，钱就是这么没的。
一项研究指出，AI 模型处理非拉丁语系文字所需的 token 最多是英文的 17 倍。这种差异被称为 tokenizer tax，意味着非英语用户在同样的输入输出量下要支付更高的 API 费用。token 消耗增加还会拉长响应时间并占用更多上下文窗口。泰文、缅甸文等文字的 tokenizer 效率问题尤为突出。
原文 · Rest of World
AI models can take up to 17 times more tokens to process non-Latin scripts than English, saddling users with a steep "tokenizer tax" https://t.co/eBEuMBLJX2 https://t.co/yvl9DK0OOw
