#模型架构
微软不小心泄露了 OpenAI 新旗舰的技术细节：循环结构提数学编程成绩，但安全对齐更难做。
Merve Noyann分享的本地AI幻灯片，全面覆盖llama.cpp关键技术点，适合开发者学习参考。
Kimi、DeepSeek和字节跳动各自提出不同方法解决深度诅咒，DepthBench将对比效果。
Kimi、DeepSeek和字节跳动各自提出不同方法解决深度诅咒，看看哪种方案更有效。
论文把门控为何有效讲透了：10M 小模型靠弃权，350M 靠滤噪，两个都用最好，几乎不加参数。
这篇论文揭示了MoE模型推理过程中路由相似性的集中-分化-再集中规律，为理解MoE内部计算提供了新视角。
DeepSeek团队揭秘四流残差通路实际使用方式，发现模型并未充分利用全部流容量。
两家中国实验室不约而同开发出相似架构，看看GLM和Qwen的最新flash版本有何异同。
Qwen模型升级，带来更高效的注意力机制和优化器，提升模型性能和稳定性。和同类模型相比，Qwen在处理长序列时更具优势。
DeepSeek改了Engram的哈希方式，不同tokenizer之间不用再各自训练，效果还一样，做多语言模型的可以看看。
这篇论文解释了为什么最近万亿参数模型（比如Nemotron、Kimi、Qwen）能又大又好——Gated Delta Networks混合了Mamba和注意力，效率翻倍还不掉精度。
Anthropic拆掉了模型外面那层死板的控制代码，换成能随机应变的教练。想了解模型架构演进，可以看看这篇对谈。
这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。
Transformer论文作者Noam Shazeer，MoE提出者，跑到OpenAI研究模型架构了，谷歌27亿美元白花了？
多模态模型架构的一次简化尝试，做模型部署或边缘推理的团队值得看看图解，理解无编码器方案如何降低资源开销。
