#OpenEuroLLM

欧洲团队改造了 Kimi 的 KDA 注意力，新模型 CKDA 状态追踪更强，代码模型开源，可以上手试试。

OpenEuroLLM团队开源了预训练研究，揭示了学习率和批量大小如何随模型和数据规模变化。