伯克利与MIT开源推理引擎 FreeToken：个人电脑可跑数千亿参数 MoE

伯克利、MIT 等机构发布了开源推理引擎 FreeToken，让消费级硬件也能运行数千亿参数的 MoE 模型。实测 RTX 5090（32GB 显存 + 192GB 内存）运行 DeepSeek 284B 达到 22–25 tok/s，RTX 4060 Laptop 8GB 运行 Qwen3.6 35B 达到 39.3 tok/s，RTX PRO 6000 运行 GLM 753B 达到 14.9 tok/s，解码吞吐量比现有本地推理引擎快约 1.3–2.1 倍。 FreeToken 的核心思路是把 GPU、CPU、系统内存和 PCIe 带宽当作一个整体资源池，利用 MoE 专家稀疏激活的特性做优化。它根据 CPU 内存带宽和 PCIe 传输带宽，动态决定缓存未命中的专家由 CPU 直接计算还是传输到 GPU 执行，并在 Prefill 阶段用全层双缓冲预取让权重传输与 GPU 计算重叠。针对 Coding Agent 的工作负载，它还实现了语义感知缓存，在上下文局部变化时只重算受影响的后续内容，并通过全局 LRU 专家缓存减少权重反复加载。 兼容性方面，FreeToken 提供 OpenAI 和 Anthropic 兼容 API，可接入 Claude Code、Codex、OpenCode 等编程助手作为本地推理后端。在 RTX 5090 的 Agent 工作负载测试中，FreeToken 各场景最差首 Token 延迟均低于 44 秒，对照引擎部分场景超过 150 秒。过去本地部署超大模型主要靠量化和权重卸载，FreeToken 展示了一条 CPU、GPU、内存和 PCIe 协同计算的替代路线。