MoE 相关 AI 资讯

模型中美对照官方一手15:50

StepFun 开源 Step 5 Preview：600B 参数 MoE，100 万上下文

StepFun 把 Step 5 Preview 的权重直接开源了，600B 的 MoE 模型每次只激活 27B，还能塞 100 万 token 上下文，Hugging Face 上就能下载。

#StepFun #Step 5 Preview #开源模型 #MoE

事件专题

官方一手marktechpost@Michal Sutter4 个信源在谈原文

论文11:35

MirrorMoE 提出缓解 MoE 路由探索困境的新方法

研究 MoE 的人可以看看这篇，它指出共享专家会抑制路由探索，并给出 MirrorMoE 这个修正方案，多规模实验都有效。

#MirrorMoE #MoE #路由机制 #论文

arXiv cs.LG@Bingcong Li 等 5 人原文

产品 Agent 与开发者精选08:34

Moondream 推出 9B 参数小型视觉语言模型，支持图像文本输入与 32K 上下文

Moondream 上了 OpenRouter，9B 总参数只激活 2B 就能看图写字，价格 0.3 美元一百万输入 token，做图像描述或轻量多模态应用可以试试。

#Moondream #OpenRouter #多模态 #视觉语言模型

OpenRouter@OpenRouterAI原文

模型 Agent 与开发者多源确认07:04

蚂蚁百灵开源 Ling-3.1-flash：总参数 560B，支持 1M 上下文

蚂蚁百灵把 560B 的 Ling-3.1-flash 开源了，激活只有 25B，量化后 4 张卡就能跑，还带 1M 上下文，自己部署的团队可以看看。

#Ling-3.1-flash #蚂蚁百灵 #开源模型 #长上下文

事件专题

IT之家4 个信源在谈原文

模型 Agent 与开发者官方一手05:33

NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL，120B 参数 MoE 架构

NVIDIA 开源了个 120B 的多模态模型，激活只有 12B，一块 DGX Spark 就能跑，还有两个边缘小模型，玩本地部署的可以看看。

#Nemotron #NVIDIA #多模态 #开源模型

事件专题

官方一手marktechpost@Asif Razzaq11 个信源在谈原文

模型中美对照78°04:48

Meta 开源 816B 参数 Muse Spark Open 模型权重

Meta 把 816B 的编程/智能体模型权重放出来了，MoE 架构跑起来只有 42B 的速度，Mac Studio 512GB 就能装下，还给了实测数据。

#Muse Spark Open #Meta #开源模型 #MoE

rohanpaul_ai@rohanpaul_ai原文

模型 Agent 与开发者多源确认02:41

llama.cpp 可直接跑 Muse-Spark-Open-816B-A42B 的 Q2_K 量化版

816B 的 MoE 模型压成 Q2_K 后一条命令就能本地跑，想试试超大模型本地部署的可以动手了。

#Muse-Spark #llama.cpp #GGUF #MoE

事件专题

Merve Noyan@mervenoyann4 个信源在谈原文

模型中美对照01:37

Meta 发布开源权重模型 Muse Spark Open，主打智能体与全模态

Meta 把 MoE 和全模态塞进一个开放权重模型，专攻智能体场景，transformers 和 llama.cpp 当天就能跑，想本地部署的可以试试。

#Muse Spark Open #Meta #开源模型 #MoE

Merve Noyan@mervenoyann原文

模型 Agent 与开发者精选00:16

OpenRouter 上架采用 Hybrid Mamba-Transformer MoE 架构的多标记预测模型

OpenRouter 上了个新模型，Mamba 和 Transformer 混合架构加多标记预测，输出更快，主攻文档处理和视频理解这几类活儿。

#OpenRouter #Mamba #MoE #多模态

OpenRouter@OpenRouterAI原文

模型 Agent 与开发者多源确认精选22:37

阶跃星辰发布 Step 5 Preview：600B MoE 开放权重模型

阶跃星辰把最大的开放权重模型 Step 5 Preview 放出来了，600B MoE，能跑 24 小时长的 Agent 任务，Hugging Face 上就有 checkpoint，可以用 vLLM 或 SGLang 直接部署。

#StepFun #Step 5 Preview #开源模型 #MoE

事件专题

官方账号NVIDIA AI@NVIDIAAI11 个信源在谈原文

模型中美对照多源确认84°21:00

StepFun 开源 Step 5 Preview：600B 稀疏 MoE，权重已上线 Hugging Face

StepFun 把 600B 的 Step 5 Preview 权重直接开源了，1M 上下文还带视觉输入，搞智能体和长文档的可以去 Hugging Face 下载试试。

#StepFun #Step 5 Preview #开源模型 #MoE

事件专题

官方账号阶跃星辰 Stepfun@Stepfun_AI5 个信源在谈原文

模型 Agent 与开发者官方一手13:00

Liquid AI 发布 LFM2.5-24B-A2B：24B 总参、2B 激活的端侧 MoE 推理模型

Liquid AI 放了个端侧友好模型，24B 总参但只激活 2B，M5 Max 上能跑到 184 tokens/s，跑本地智能体可以试试

#Liquid AI #LFM2.5 #MoE #开源模型

官方一手marktechpost@Asif Razzaq原文

模型 Agent 与开发者官方一手12:59

Ant Group 开源 Ling-3.1-flash：560B 参数、25B 激活、100 万上下文

蚂蚁又开源了一个大模型，560B 总参但每个 token 只跑 25B，还能塞 100 万 token 上下文，MIT 协议想怎么商用都行。

#Ling-3.1-flash #Ant Group #开源模型 #MoE

事件专题

官方一手pandaily@[email protected] (Pandaily)5 个信源在谈原文

模型 Agent 与开发者官方一手12:57

Nature Will 发布 Natura-1：50B 参数 MoE 驱动 20 自由度灵巧手

中国机器人公司 Nature Will 拿 100 万小时人类视频训练了个 50B 的 MoE 模型，专门用来控制 20 自由度的灵巧手，思路挺有意思。

#Natura-1 #Nature Will #灵巧手 #MoE

事件专题

官方一手pandaily@[email protected] (Pandaily)3 个信源在谈原文

模型中美对照74°12:50

Step 5 Preview 发布当天即获 vLLM 支持

StepFun 新模型 Step 5 Preview 上线当天就能在 vLLM 上跑，稀疏注意力加 MoE，Blackwell 和 Hopper 都能部署，附内核实测数据。

#StepFun #vLLM #MoE #稀疏注意力

官方账号vLLM@vllm_project原文

模型中美对照多源确认72°12:46

阶跃 Step 5 Preview 开放权重：600B 稀疏 MoE，支持 100 万 token 上下文

阶跃把 Step 5 Preview 的权重直接放出来了，600B 激活 27B 还能吃 100 万 token 上下文，OpenRouter 调用量已经全球第二，想自建 Agent 的可以上手试试。

#Step 5 Preview #阶跃 #开源模型 #MoE

事件专题

IT之家6 个信源在谈原文

论文精选08:07

DRMoET 论文：MoE 负载均衡声称超越 DeepSeek 无辅助损失方案

搞 MoE 训练的可以看看这篇：新负载均衡方法号称压过 DeepSeek 的 aux-loss-free，吞吐还不掉。

#MoE #DeepSeek #DRMoET #负载均衡

Teortaxes@teortaxesTex原文

模型中美对照官方一手07:11

Fish Audio 开源 Drama 3：35B MoE 文本转语音模型

Fish Audio 开源语音模型 Drama 3，大白话就能指挥它怎么念，83 种语言，权重全放开。

#Fish Audio #Drama 3 #语音合成 #开源模型

事件专题

官方一手marktechpost@Asif Razzaq9 个信源在谈原文

模型中美对照官方一手88°13:10

Google 发布 Gemini 4 Argon：单次输出上限 100 万 token

Gemini 4 Argon 开放调用了，一次能写 100 万 token，Vals Index 68.90% 排第一，写长文不用再分段拼。

#Gemini 4 Argon #Google #AI Studio #长文本生成

事件专题

官方一手marktechpost@Asif Razzaq6 个信源在谈原文

论文 Agent 与开发者12:18

FastEEP：MoE 推理服务实例内弹性扩缩容系统

MoE 服务扩容不用再整实例重启了，FastEEP 复用运行时状态，比 vLLM 方案快 4.5 到 11.7 倍，做推理部署的可以看看。

#FastEEP #MoE #vLLM #推理优化

arXiv cs.LG@Yunfei Feng 等 6 人原文

论文 Agent 与开发者12:18

arXiv 论文：解析三种提示词适配方法在 LLM 内部的不同作用机制

如果你调过提示词或 prompt tuning，这篇帮你搞清楚三种方法到底在模型内部改了什么，选方法时有依据了。

#prompt tuning #prefix tuning #MoE #提示词工程

arXiv cs.LG@Mikhail Aleksandrov 等 9 人原文

模型 Agent 与开发者精选11:39

OpenBMB 发布 MiniCPM-V 4.7：35B MoE 多模态模型可在手机本地运行

35B 的多模态模型塞进手机只要 3GB 内存，靠 LES 技术把专家权重放闪存按需加载，速度还有 13 tokens/s，搞端侧的可以看看。

#MiniCPM-V #OpenBMB #MoE #多模态

shao__meng@shao__meng原文

技巧 Agent 与开发者多源确认精选00:09

Anyscale 网络研讨会：用 Ray Serve 构建可扩展的分布式推理系统

Anyscale 要开讲 Ray Serve 推理系统设计了，从 KV cache 优化到 MoE 扩展都讲，还教你算自建 GPU 和 API 计费哪个便宜。

#Ray Serve #vLLM #SGLang #MoE

事件专题

Anyscale@anyscalecompute11 个信源在谈原文

技巧 Agent 与开发者官方一手精选23:27

AWS 优化 Amazon SageMaker AI 上的 MoE 内核，吞吐量提升 10%

AWS 工程师公开了 MoE 推理内核的三项优化技巧，在 H200 上吞吐量提升 10%，做推理部署的可以参考。

#SageMaker #MoE #Triton #FP8量化

事件专题

官方一手AWS Machine Learning Blog@Mona Mona2 个信源在谈原文

模型 Agent 与开发者21:25

MiniCPM-V 4.7 发布：35B 多模态 MoE 模型仅用 3GB 内存跑在手机上

OpenBMB 把 35B 的多模态模型塞进了 3GB 内存，手机能离线读文档、认路牌，还给了 1B 小版本和微调方法，端侧玩法直接变多了。

#MiniCPM-V #OpenBMB #MoE #多模态

OpenBMB@OpenBMB原文

模型 Agent 与开发者17:17

面壁智能发布 MiniCPM-V 4.7：端侧 MoE 多模态模型，3GB 内存跑出 13+ token/s

面壁把 35B 的 MoE 模型塞进 3GB 内存的手机里还能跑 13+ token/s，比 Qwen3.6 同规格得分还高，做端侧应用可以看看。

#MiniCPM-V #面壁智能 #MoE #多模态

IT之家原文

产品 Agent 与开发者10:08

华为麒麟 9050 系列实现业界首个 30B MoE 大模型入端

华为把 30B MoE 模型塞进了手机端侧，内存占用不到 2.5G，麒麟 9050 Pro 的 NPU 性能还提了 140%，端侧 AI 这块值得看看具体参数。

#麒麟9050 #华为 #MoE #达芬奇架构NPU

IT之家原文

产品 Agent 与开发者16:36

阶跃 Step 5 Preview 上线腾讯 WorkBuddy，10 月 12 至 25 日独家限免

阶跃的 Step 5 Preview 进驻腾讯 WorkBuddy 了，这两周免费用。600B 参数 MoE 架构、100 万上下文，10 月 15 日还要开源权重，可以试试编程能力。

#Step 5 Preview #StepFun #腾讯 WorkBuddy #开源模型

IT之家原文

产品 Agent 与开发者精选04:18

AMD 将在 PyTorch 大会展示 MoRI + vLLM 跨 pod 的 MoE 推理方案

AMD 把 MoRI 通信栈接进 vLLM，让 MoE 推理能跨 pod 用 RDMA 分摊专家和搬 KV cache，搞大模型部署的可以看看基准数据。

#vLLM #AMD Instinct #MoRI #MoE

官方账号PyTorch@PyTorch原文

论文 Agent 与开发者09:44

Elastic Expert Routing：软化 MoE top-k 路由边界，提升 OLMoE 与 Qwen3 微调效果

一篇 MoE 训练论文：把固定 top-k 换成在 k 附近随机采样，Qwen3-30B-A3B 微调能多拿 2 分，推理成本不变。

#MoE #Elastic Expert Routing #OLMoE #Qwen3

arXiv cs.LG@Yunkai Chai 等 7 人原文

模型 Agent 与开发者官方一手78°02:53

Mistral AI 发布 Mistral Large 4：1.05T 参数 MoE 多模态模型

Mistral 放出了 1.05 万亿参数的 Le Chonk，激活才 490 亿，还能吃图和百万 token 上下文，权重月底开源。

#Mistral Large 4 #Mistral AI #MoE #多模态

事件专题

官方一手marktechpost@Asif Razzaq11 个信源在谈原文

模型中美对照20:23

Reflection 发布开源权重模型 Beam，主打效率对标 GLM 5.2

美国 Reflection 放出了首个开源模型 Beam，500 多亿参数只激活 23B，想用更低算力打 DeepSeek 和 Qwen，写代码推理的可以看看。

#Beam #Reflection #GLM #开源模型

官方账号Decoder@Jonathan Kemper原文

论文 Agent 与开发者11:52

BRANCH-MoE 提出树状路由结构，改进 MoE 专家负载均衡

这篇论文把 MoE 的专家排成二叉树来做路由，不用额外的负载均衡损失，还能按树前缀分设备减少通信，做 MoE 训练的可以看看。

#MoE #BRANCH-MoE #DeepSeek-V3 #Switch

arXiv: DeepSeek@Gang Fu 等 4 人原文

论文 Agent 与开发者10:33

CIPHER-MoE：万亿参数 MoE 训练负载均衡新方法

训练万亿参数 MoE 模型的负载不均问题有了新解法，DeepSeek-V4-Pro 上实测训练加速最高 1.94 倍，还不用加硬件，做训练的可以看看。

#CIPHER-MoE #DeepSeek-V4-Pro #MoE #训练效率

arXiv: DeepSeek@Jing Li 等 11 人原文

论文 Agent 与开发者09:43

HiRefPOU：用分区混合专家网络改进 PDE 算子学习

这篇论文把混合专家思路搬进了 DeepONet 和 FNO，专门对付尖界面、异质系数这类难解的 PDE，误差比基线低不少，做科学计算的可以看看。

#DeepONet #FNO #算子学习 #MoE

arXiv cs.LG@Madison Cooley 等 5 人原文

模型中美对照74°08:14

Reflection 预告开源模型 Beam：501B 总参数、23B 激活，主打推理效率

拿了 20 亿美金的 Reflection 放出首个开源模型 Beam，501B 参数只激活 23B，直接对标 GLM 和 DeepSeek 的 Flash 系列，权重本月放出。

#Reflection #Beam #开源模型 #GLM

shao__meng@shao__meng原文

模型中美对照官方一手05:29

Reflection AI 发布 Beam：501B 参数 MoE 开源模型，主打编程与智能体

Reflection AI 放出了首个开源模型 Beam，501B 只激活 23B，官方说打平 GLM-5.2 还省 3-4 倍算力，做编程和智能体的可以关注权重发布。

#Beam #Reflection AI #GLM-5.2 #MoE

官方一手marktechpost@Asif Razzaq原文

模型中美对照76°04:02

Reflection AI 开源 Beam：501B 参数 MoE，号称最强西方开源模型

Reflection AI 开源了 Beam，501B 参数 MoE，作者称推理算力只要 GLM-5.2 的三分之一，Apache 2.0 可商用，不过注意这数字只是估算。

#Beam #Reflection AI #GLM-5.2 #开源模型

rohanpaul_ai@rohanpaul_ai原文

模型 Agent 与开发者22:39

Aleph Alpha 发布开源权重模型 Kolibri，主打欧洲 AI 主权

德国公司 Aleph Alpha 把 Kolibri 权重完全开源了，Apache 2.0 许可随便用，78B 参数 MoE 架构还特意喂了 21% 德语数据。

#Kolibri #Aleph Alpha #开源模型 #MoE

官方账号Decoder@Matthias Bastian原文

论文20:50

SPEAR：谱解耦 MoE 神经算子，面向大规模 PDE 预训练

一篇解决 PDE 基础模型知识干扰和 MoE 专家冗余的论文，专家数量砍一半精度不掉，做科学计算的可以看看。

#MoE #神经算子 #PDE #SPEAR

arXiv cs.AI@Dengdi Sun 等 6 人原文