AITOPAI热报

模型架构

共 13 条相关 AI 资讯
8月29日
03:16
03:16官方一手marktechpost@Asif Razzaq
精选73°
Z.ai和Qwen两家中国AI实验室独立发布了几乎相同的模型架构。GLM-5.3-Flash和Qwen3.8-Flash-Next都采用了3:1线性混合架构。两家模型都使用了压缩索引器和门控残差设计。它们还都采用了Muon训练方法。
AI模型GLM-5.3-FlashQwen3.8-Flash-NextZ.ai
事件专题
推荐理由：两家中国实验室不约而同开发出相似架构，看看GLM和Qwen的最新flash版本有何异同。
原文
8月27日
06:23
8月26日
22:28
8月25日
22:06
8月17日
10:15
10:15官方账号arXiv cs.LG@Zewen Jin, Shen Fu, Zeping Duan, Shannon Wang, Weihao Wu, Chengjie Tang, Congkun Ai, Ping Gong, Zijian Dai, Youhui Bai, Cheng Li
DeaMoE是一种解码高效混合专家架构，将专家按专业领域分组为部门，同部门专家共享大部分参数，并各自保留少量私有参数。它采用定制两阶段路由策略，避免冗余加载，大幅提升大模型解码效率。相比vanilla MoE，DeaMoE每步加载权重最多减少50.9%，7B模型在A40上端到端TPOT加速1.33倍。在微基准测试中，DeepSeek-V3在A40和H100上分别达到2.00倍和1.97倍的峰值加速。
AI模型DeaMoEMoEDeepSeek-V3
事件专题
推荐理由：DeaMoE让MoE小批量解码少搬权重、跑得更快，7B模型在A40上TPOT提速33%，DeepSeek-V3加速近2倍。
原文
8月15日
10:11
8月3日
09:18
09:18官方一手arXiv: DeepSeek@Jia Peng Lim, Hai Leong Chieu
DeepSeek的Engram条件记忆模块在存储与推理之间做权衡，但依赖token级N-gram哈希，导致不同tokenizer需从头训练。论文提出用多项式哈希替换XOR哈希，建立跨N的联合嵌入空间。实验显示该改动在保持性能的同时实现tokenizer无关性，字节等价序列哈希相等。
论文DeepseekEngramTokenizer
推荐理由：DeepSeek改了Engram的哈希方式，不同tokenizer之间不用再各自训练，效果还一样，做多语言模型的可以看看。
原文
7月21日
13:00
13:00向阳乔木@vista8
Gated Delta Networks 是一种基于Mamba架构的新模型设计，被用于英伟达Nemotron、Kimi Delta Attention以及Qwen的最新模型中。这种混合架构通过融合注意力机制与状态空间模型，使得参数规模可达到万亿级别（T）的同时保持高推理质量。论文展示了其在长序列任务上的显著效率提升，相比纯Transformer架构可减少80%的计算开销。多款万亿参数模型已采用该架构，验证了其可扩展性。
论文Gated Delta NetworksMambaNemotron
推荐理由：这篇论文解释了为什么最近万亿参数模型（比如Nemotron、Kimi、Qwen）能又大又好——Gated Delta Networks混合了Mamba和注意力，效率翻倍还不掉精度。
原文
7月19日
13:18
6月23日
13:13
13:13官方账号arXiv cs.AI@Reza Bayat, Ali Behrouz, Aaron Courville
当前语言模型在深度上均匀分配参数，但研究表明各层贡献不同。该论文在固定预算下实验发现，将更多参数分配给前层、减少后层可以改进困惑度。提出Tapered Language Models（TLMs），通过余弦调度平滑锥形化MLP宽度。在Transformer、Gated Attention、Hope-attention和Titans四种架构上，三个模型尺度均一致提升困惑度和下游基准性能，且不增加参数或计算量。
论文Tapered Language ModelsTransformerTitans
推荐理由：这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。
原文
6月20日
12:57
12:57官方一手歸藏(guizang.ai)@op7418
精选71°
Noam Shazeer（Transformer论文作者之一、MoE架构提出者）加入OpenAI，负责模型架构研究。谷歌此前以27亿美元收购Character.AI换取他加入谷歌。但Shazeer在谷歌停留短暂后即转投OpenAI。
行业Noam ShazeerTransformerMoE
事件专题
推荐理由：Transformer论文作者Noam Shazeer，MoE提出者，跑到OpenAI研究模型架构了，谷歌27亿美元白花了？
原文
6月4日
23:12
23:12Philipp Schmid@_philschmid
72°
Google 昨日发布 Gemma 4 12B 模型，并附有详细架构图解。该模型创新性地移除了视觉和音频编码器，仅用一个 12B 参数模型即可处理文本、图像和音频，无需独立的编码器模块。图解展示了编码器通常如何连接模态与大语言模型，以及 Gemma 4 如何通过单一模型实现多模态理解。这一设计简化了模型结构，降低了部署复杂度，对多模态 AI 研究者和开发者具有重要参考价值。
AI模型Gemma 4多模态模型架构
事件专题
推荐理由：多模态模型架构的一次简化尝试，做模型部署或边缘推理的团队值得看看图解，理解无编码器方案如何降低资源开销。
原文
5月12日
19:11
19:11官方账号arXiv cs.LG@Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu
DECO是一种针对端侧设备设计的稀疏MoE架构，旨在相同参数预算和训练Token数下达到稠密Transformer的性能。它采用可微分灵活的ReLU路由和可学习专家缩放，结合新激活函数NormSiLU，提高了路由专家激活比率的稳定性和内在稀疏性。实验显示，仅激活20%专家即可匹配稠密模型性能，专用加速核在真实硬件上相比稠密推理加速3倍。这一工作对推动MoE在资源受限设备上的实际部署具有重要意义。
论文稀疏MoE端侧部署推理加速
推荐理由：DECO在保持性能和降低计算开销方面取得了良好平衡，其3倍加速和严格的稀疏性控制对端侧AI部署具有实际参考价值。
原文