研究显示小模型的多语言效率常被英文基准掩盖：印度语系分词器覆盖不足

一项覆盖 131k 句、11 种印度语系文字的研究指出，Small Language Models 报告的内存效率数字多以英文衡量，无法迁移。TinyLlama-1.1B 的分词器对拉丁文单词平均输出 1.34 个子词，对卡纳达语单词则高达 22.60 个，其词表完全不含 Odia 的码点，仅含 1% 的泰卢固语和 2% 的卡纳达语码点，11 种文字中有 5 种的分词率触及 UTF-8 字节回退上限。由于 SentencePiece 字节回退不会触发 UNK 标记，TinyLlama 在所有文字上的 UNK 率均为 0.0%，失败完全无感知。mBERT 在 Odia 上达到全场最优的 1.10 tokens/word，却将 87.9% 的文本丢弃为 UNK；仅有 TinyLlama 五分之一参数量的 MuRIL 则以 1.23-2.26 tokens/word 无 UNK、无字节回退地覆盖全部文字。在 2048 token 上下文窗口下，同一模型可给英文用户提供 1,528 个词的可用上下文，而卡纳达语用户只有 91 个。