09:18
官方一手arXiv: DeepSeek@Jia Peng Lim, Hai Leong Chieu
推荐理由：DeepSeek改了Engram的哈希方式，不同tokenizer之间不用再各自训练，效果还一样，做多语言模型的可以看看。
Tokenizer
共 2 条相关 AI 资讯
8月3日
09:18
DeepSeek的Engram条件记忆模块在存储与推理之间做权衡，但依赖token级N-gram哈希，导致不同tokenizer需从头训练。论文提出用多项式哈希替换XOR哈希，建立跨N的联合嵌入空间。实验显示该改动在保持性能的同时实现tokenizer无关性，字节等价序列哈希相等。
7月24日
09:50
09:50
向阳乔木@vista8
向阳乔木@vista8推荐理由：想搞懂大模型数不对数的原因？这个视频讲得特别清楚，几分钟就懂了。