10个开源LLM新架构一览:从Kolibri-1到Mistral Large 4
rasbt 整理了10月10个开源 LLM 架构,从 Kimi Delta Attention 到 LatentMoE,想跟进架构趋势的别错过这份清单。
rasbt 整理了10月10个开源 LLM 架构,从 Kimi Delta Attention 到 LatentMoE,想跟进架构趋势的别错过这份清单。
德国的 Aleph Alpha 开源了 Kolibri-1,78B 参数但只激活 3B,还支持 260K 上下文,做德语项目的可以看看。