AITOPAI热报

混合专家模型

共 18 条相关 AI 资讯
8月27日
16:55
11:12
11:12官方账号arXiv cs.LG@Xu Zhang, Ren Wang
精选
Robust CurveMoE 提出了一种高效的混合专家模型框架，通过低损失路径连接针对不同扰动范数的模型，并利用模型沿此路径的互补鲁棒性配置。在 CIFAR-100 和 ImageNet-100 数据集上，与 MSD 和 ERMC 相比，Robust CurveMoE 在干净、规范特定和联合准确率方面持续改进，特别是在 CIFAR-100 和 ImageNet-100 上分别提高了 2.37 和 2.13 个百分点的联合准确率。
AI模型Robust CurveMoE混合专家模型鲁棒性
推荐理由：Robust CurveMoE 在 CIFAR-100 和 ImageNet-100 数据集上显著提升了混合专家模型的鲁棒性，比最强基线提高了 2.37% 和 2.13% 的联合准确率，值得一试。
原文
8月26日
23:10
23:10官方账号Decoder@Matthias Bastian
精选73°
阿里巴巴Qwen团队发布Qwen3.8-Flash-Next，混合专家模型，每token激活125亿参数中的6个。训练成本降低至九分之一，在编码和办公基准测试中击败DeepSeek-V4-Flash和Claude Opus 4.6，对OpenAI和Anthropic构成更多价格压力。
AI模型Qwen3.8-Flash-Next成本效率混合专家模型
事件专题
推荐理由：想了解阿里巴巴如何以更低成本打造强大模型？Qwen3.8-Flash-Next值得一试，它比DeepSeek-V4-Flash和Claude Opus 4.6更高效，成本更低。
原文
8月6日
12:28
7月28日
12:00
12:00官方一手arXiv: DeepSeek@En-Ming Huang, An-Cheng Chang, Bai-Cheng Jeng, Shih-Hao Hung, H. T. Kung
混合专家（MoE）推理中专家GEMM的形状随运行时路由分布变化，现有系统使用静态令牌数桶选择融合内核，忽略每专家路由分布。论文提出分布感知框架，结合Effective Experts指标与Dirichlet逆向建模生成可控路由分布，并开发DA-MoE运行时系统，可在GPU上根据路由直方图与离线调优分布匹配选择近最优融合内核，无需CPU-GPU同步。在HumanEval-X服务轨迹上，DA-MoE在DeepSeek-V3和Kimi K2上将几何平均融合MoE延迟分别提升1.16倍和1.29倍，峰值加速达1.40倍和1.56倍。
论文DA-MoEDeepSeek-V3Kimi K2
推荐理由：论文提出了DA-MoE，根据路由分布动态选最优内核，在DeepSeek-V3和Kimi K2上延迟最高降低56%，做MoE推理的同学可以关注这个优化思路。
原文
7月22日
11:24
7月9日
02:42
02:42@koltregaskes@koltregaskes
73°
Grok 4.5由Cursor与SpaceXAI联合训练，采用混合专家架构，基于数万亿token训练，包含真实Cursor用户交互及STEM、科研论文等数据。强化学习聚焦长任务、工具使用、错误恢复和验证，覆盖编码、数据、金融等领域。定价为输入每百万token 2美元、输出6美元，同时保留更快的变体。模型已在桌面应用、Web、iOS、CLI和SDK上线，首周付费计划双倍用量。欧盟暂不可用，预计本月晚些时候支持。
AI模型Grok 4.5CursorSpaceXAI
事件专题
推荐理由：Cursor和SpaceXAI联手推出Grok 4.5，能处理编码、数据、金融等复杂任务，比Composer 2.5更通用，首周双倍用量。
原文
6月11日
16:38
16:38官方一手marktechpost@Asif Razzaq
Cohere 推出了其首个面向开发者的编程模型 North Mini Code，采用混合专家架构，总参数量 30B，但每次推理仅激活 3B 参数，可在单张 H100 GPU 上运行。该模型支持 256K 上下文长度，专为智能体编程场景设计，能够高效处理代码生成、调试和自动化任务。作为开源权重模型，它降低了开发者部署高性能编程模型的门槛，尤其适合资源受限的团队。这一发布标志着 Cohere 正式进入 AI 编程助手领域，与 Code Llama、StarCoder 等模型竞争。
AI模型CohereNorth Mini Code混合专家模型
事件专题
推荐理由：Cohere 用 3B 活跃参数实现了 30B 模型的效果，做智能体编程的团队可以在单卡 H100 上直接部署，省成本又高效，建议做代码自动化的开发者试试。
原文
6月5日
12:20
12:20官方账号arXiv cs.AI@Lizhi Yang, Junheng Li, Nehar Poddar, Yiling Hou, Gio Huh, Robert Griffin, Georgia Gkioxari, Aaron Ames
精选
HANDOFF 提出了一种紧凑、直观的接口，用于人形机器人的任务规划与全身控制之间的连接。该接口通过多教师 KL 蒸馏和上下文条件门控机制，将三个互补专家（全身运动跟踪、行走、跌倒恢复）蒸馏成一个混合专家学生模型。在 Unitree G1 机器人上，HANDOFF 实现了与最先进方法相当的行走速度跟踪，并提供了最大的鲁棒操作工作空间之一。此外，通过 VLM 驱动的智能体规划器，无需任务特定数据或控制器微调，即可实现自然语言驱动的任务执行。这项工作为人形机器人在现实世界中的部署提供了更高效、更通用的控制方案。
论文人形机器人全身控制知识蒸馏
推荐理由：人形机器人开发者终于有了一个更直观、通用的控制接口——HANDOFF 通过蒸馏多个专家模型，让机器人能同时做好行走、操作和跌倒恢复，做机器人全身控制的团队可以直接参考其方法。
原文
09:02
09:02rohanpaul_ai@rohanpaul_ai
精选
在本地运行LLM的桌面应用atomic[.]chat上，Nemotron 3 Ultra与GPT-5.5进行了对比测试。在构建带真实物理效果的HTML5 Canvas任务中，Nemotron 3 Ultra以11.3k tokens、0.051美元的成本，给出了与GPT-5.5（11.0k tokens、0.57美元）几乎相同的结果，成本仅为后者的十分之一。Nemotron 3 Ultra是一个混合专家模型，拥有5500亿总参数，但每个token仅激活55亿参数，因此效率极高。这一对比展示了Nemotron 3 Ultra在性价比上的显著优势，尤其适合需要高推理质量但预算有限的场景。
AI模型Nemotron 3 UltraGPT-5.5混合专家模型
事件专题
推荐理由：做AI应用或本地推理的开发者，这个测试直接告诉你Nemotron 3 Ultra能以十分之一成本达到GPT-5.5级别的效果，值得在项目里试试。
原文
05:48
05:48官方一手marktechpost@Asif Razzaq
83°
NVIDIA 发布了 Nemotron 3 Ultra，一个 550B 总参数（55B 激活）的开放混合专家模型，采用 Mamba-Transformer 混合架构。该模型支持 100 万 token 的上下文窗口，推理吞吐量比同等精度的开放 LLM 高约 6 倍。NVIDIA 同时开源了模型权重、训练数据和配方，遵循 OpenMDW-1.1 许可。这一发布旨在解决长时运行智能体在推理效率和上下文长度上的瓶颈，为 AI 代理和复杂任务自动化提供了更高效的基础模型。
AI模型NVIDIANemotron 3 Ultra混合专家模型
事件专题
推荐理由：长时智能体开发者终于有了一个兼顾超长上下文和高推理效率的开放模型——Nemotron 3 Ultra 的 6 倍吞吐量提升能显著降低部署成本，做 Agent 或 RAG 系统的团队值得直接试。
原文
6月4日
11:13
6月3日
05:02
05:02rohanpaul_ai@rohanpaul_ai
88°
微软发布了 MAI-Thinking-1，这是其自研推理模型系列的首个成果。该模型采用 1T 总参数的混合专家架构，每次推理仅激活 35B 参数，在 AIME 2025 上达到 97.0%，LiveCodeBench v6 上 87.7%，SWE-Bench Pro 上 52.8%。微软称其训练流程为“爬山机器”，通过持续优化数据、训练、奖励和安全测试形成闭环。预训练基于 30T 主要人工生成 token，避免使用第三方模型蒸馏，随后通过强化学习提升数学、编程、工具使用和安全能力。这标志着微软在推理模型领域建立了完整的自研能力。
AI模型推理模型微软MAI-Thinking-1
推荐理由：微软用自研数据+强化学习打造了强推理模型，做 AI 推理或模型训练的团队值得关注其“爬山机器”方法论，尤其是 35B 激活参数就能达到接近顶尖水平的效率。
原文
6月1日
12:50
12:50IT之家（博客/媒体）
精选78°
英伟达发布 Nemotron 3 Ultra 开源模型，拥有 5500 亿参数，采用混合专家架构，专为全天候运行的自主智能体设计。该模型在推理速度上较同级别前沿模型最高提升 5 倍，使用成本降低 30%，并已适配 Hermes Agent、LangChain 等主流智能体平台。同时推出安全防护和语音识别模型，增强企业级智能体能力。CrowdStrike 和 Palantir 已将其用于网络安全和业务流程自动化。模型将于 6 月 4 日通过 Hugging Face 等平台以 NIM 微服务形式开放。
AI模型英伟达Nemotron 3 Ultra开源模型
事件专题
推荐理由：英伟达把大模型推理速度和成本同时优化了，做智能体开发或企业自动化的团队可以直接用上，比现有开源方案更高效省钱，值得关注。
原文
5月28日
11:56
11:56官方一手arXiv: DeepSeek@Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho
精选72°
该研究提出了首个系统化框架，将混合专家模型（MoE）转换为标准全稠密架构。通过专家评分、选择、分组并拼接成稠密前馈网络，再通过知识蒸馏从MoE教师模型精炼。在Qwen3-30B-A3B上评估了7种评分、5种分组和2种幅度缩放方法，共350种配置。发现评分方法影响最大，其提出的多样性感知评分在多个模型上优于先前方法。在参数匹配控制下，MoE转稠密比稠密到稠密剪枝平均下游准确率提升6.3个百分点，训练速度快1.6倍。
论文模型压缩知识蒸馏混合专家模型
推荐理由：这个框架解决了MoE模型在内存受限设备上部署的痛点，做模型压缩和边缘部署的团队可以直接参考其方法，比传统剪枝效果更好且训练更快。
原文
5月24日
14:44
5月22日
11:26
11:26官方账号arXiv cs.LG@Huanchi Wang, Zihang Huang, Yifang Tian, Kristina Dzeparoska, Hans-Arno Jacobsen, Alberto Leon-Garcia
精选
FAME 提出了一种标签高效的混合专家框架，用于消息级日志异常检测。传统方法在会话或窗口级别检测异常，粒度粗糙，迫使运维人员检查大量常规日志行。FAME 通过离线使用一次大语言模型，为每个模板标注最多 K 行，生成正常/异常指示符和代表性示例，并自动将模板划分为故障域。训练后的轻量路由器和领域专家可在本地运行，输出异常预测和故障域标签。在 BGL 数据集上，FAME 在 K=100 时达到 F1=98.16，标注量减少 76 倍，并检测出 86.3% 的未见 EventID 异常；在 Thunderbird 上达到 F1=99.95 且召回率完美。
论文日志异常检测混合专家模型LLM
推荐理由：运维团队终于有了兼顾精度和效率的日志异常检测方案——FAME 用一次 LLM 离线标注就解决了消息级检测的痛点，标注量减少 76 倍还能发现未知故障，做日志分析或运维自动化的开发者值得关注。
原文
5月21日
11:25
11:25官方账号arXiv cs.AI@Can Hankendi, Rana Shahout, Minlan Yu, Ayse K. Coskun
精选
PALS是一个针对大语言模型推理的功耗感知运行时系统，将GPU功耗上限作为可调控制参数，与批处理大小等软件参数联合优化。该系统结合轻量级离线功耗性能模型和反馈驱动控制器，在满足吞吐量目标的同时最大化能效。在vLLM框架中实现，无需模型重训练或API更改。在多GPU系统上，针对稠密和混合专家模型，PALS能效提升最高26.3%，功耗约束下服务质量违规减少4到7倍。这展示了将功耗控制直接集成到LLM推理运行时中的潜力，可实现能效比例和电网交互式AI系统。
论文LLM推理功耗优化混合专家模型
推荐理由：数据中心GPU能耗是AI部署的隐形杀手，PALS把功耗从硬约束变成可调参数，做LLM服务部署的团队可以直接在vLLM上集成，省电又保性能，值得一试。
原文