技巧官方一手

Hugging Face 展示如何用 32GB 内存跑 180B 参数 MoE 推理

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

精选理由

这篇文章教你在 32GB 内存的普通机器上跑 180B 的 MoE 模型,靠的是按需流式加载专家权重。对想在自己笔记本或小服务器上本地玩开源大模型的开发者来说很实用,文中还有 transformers 的可复现代码。

Hugging Face 发布博客,介绍 MoE expert streaming 技术:在仅 32GB 内存(CPU RAM)的机器上运行 180B 参数的 MoE 模型推理。

图片来源 · Hugging Face: Blog
正文

核心原理是利用 MoE 架构稀疏激活的特性——每个 token 只触发少量专家权重,因此不必把全部 180B 参数载入内存,而是按需从 SSD 流式加载当前 token 命中的专家分片到 GPU。文中给出基于 transformers 库的完整配置和代码示例,并用大 batch 的持续换入换出(streaming)来掩盖磁盘读取延迟。

局限在于吞吐对磁盘速度和 batch 形态敏感,适合本地低成本部署与实验场景,不适合追求高并发低延迟的生产服务。

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:MoE、transformers、Hugging Face、开源模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始信息发布自一手权威信源「Hugging Face: Blog」(Tier-1 一手发布),具备高确定性参考价值。