27B looping MoE 架构 mini 模型发布,仅 3B 激活参数
27B 总参数只激活 3B,一台 Mac Mini 或 32GB 内存机器就能跑,DGX Spark 上已有 75 tok/s 的解码速度。想在本地设备部署中等规模模型的开发者可以先试,推理成本和稠密模型不是一个量级。
mini 模型正式发布,采用 27B 总参数的 looping MoE 架构,每次推理仅激活 3B 参数,可完整跑进 32GB 内存的设备。
Soumith Chintala 在 DGX Spark 和 Mac Mini 上实际部署了该模型,其中 DGX Spark 上的解码速度目前约为 75 tok/s。looping MoE 的思路是让模型循环复用少量激活参数,用更小的常驻显存换接近大模型的容量。
相比同等参数量的稠密模型,3B 激活让它在消费级硬件上的部署成本大幅降低。团队还在继续做解码速度优化,r/localLLaMA 社区对此类可本地运行的模型一直有较高需求。
mini model is out. 27B looping MoE, 3B active. fits on a 32GB memory machine. Been running this on my DGX Spark, Mac Mini.
On my DGX Spark, got it to run roughly at 75 tok/s decode so far (my agents are actively trying to make it go faster).
Hopefully r/localLlama will be more happy now ;-)
本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:MoE、开源模型、本地部署、DGX Spark,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Soumith Chintala (PyTorch)」(@soumithchintala),经 AITOP 多维评分管线结构化提炼。