伯克利与MIT开源推理引擎 FreeToken：个人电脑可跑数千亿参数 MoE
伯克利和 MIT 出的开源引擎，专治本地跑不动 MoE 大模型的问题：一台 RTX 5090 加 192GB 内存就能跑 DeepSeek 284B，每秒 20 多个 token。它把 CPU、GPU 和 PCIe 当整体调度，还能直接接 Claude Code 当后端。自己有硬件想跑大模型的开发者可以上手试试。
伯克利、MIT 等机构发布了开源推理引擎 FreeToken，让消费级硬件也能运行数千亿参数的 MoE 模型。实测 RTX 5090（32GB 显存 + 192GB 内存）运行 DeepSeek 284B 达到 22–25 tok/s，RTX 4060 Laptop 8GB 运行 Qwen3.6 35B 达到 39.3 tok/s，RTX PRO 6000 运行 GLM 753B 达到 14.9 tok/s，解码吞吐量比现有本地推理引擎快约 1.3–2.1 倍。
FreeToken 的核心思路是把 GPU、CPU、系统内存和 PCIe 带宽当作一个整体资源池，利用 MoE 专家稀疏激活的特性做优化。它根据 CPU 内存带宽和 PCIe 传输带宽，动态决定缓存未命中的专家由 CPU 直接计算还是传输到 GPU 执行，并在 Prefill 阶段用全层双缓冲预取让权重传输与 GPU 计算重叠。针对 Coding Agent 的工作负载，它还实现了语义感知缓存，在上下文局部变化时只重算受影响的后续内容，并通过全局 LRU 专家缓存减少权重反复加载。
兼容性方面，FreeToken 提供 OpenAI 和 Anthropic 兼容 API，可接入 Claude Code、Codex、OpenCode 等编程助手作为本地推理后端。在 RTX 5090 的 Agent 工作负载测试中，FreeToken 各场景最差首 Token 延迟均低于 44 秒，对照引擎部分场景超过 150 秒。过去本地部署超大模型主要靠量化和权重卸载，FreeToken 展示了一条 CPU、GPU、内存和 PCIe 协同计算的替代路线。
伯克利、MIT等搞了一个开源推理引擎：FreeToken，让个人电脑也能运行数千亿参数的MoE，RTX 5090实测DeepSeek 284B达到22–25tok/s
在消费级硬件测试中，解码吞吐量比现有本地推理引擎快约1.3-2.1倍
能接入Claude Code等Coding Agent，让本地开源模型做它们的推理后端
过去想在本地跑几千亿参数的MoE大模型，不仅显存装不下，即使把权重放到系统内存，也容易受到内存带宽和 PCIe传输速度的限制
比如一个290B模型，即使采用4-bit量化，光权重理论上就需要约145GB存储空间，普通RTX 4060、5090的显存根本装不下
FreeToken的核心思路是把GPU、CPU、系统内存和PCIe带宽作为一个整体，针对MoE专家的稀疏激活特性，优化计算分配、数据传输和缓存管理
结果： RTX 4060 Laptop 8GB+32GB内存：Qwen3.6 35B，39.3 tok/s RTX 5090 32GB+192GB内存：DeepSeek 284B，22–25 tok/s RTX PRO 6000 96GB+512GB内存：GLM 753B，14.9 tok/s
它主要从这四个方面提升本地推理效率： 1、带宽自适应CPU-GPU协同推理 根据CPU内存带宽和PCIe传输带宽，动态决定未命中GPU 缓存的MoE专家中，哪些由CPU直接计算，哪些传输到GPU执行
在Prefill阶段，还通过全层双缓冲预取，让下一层专家权重的传输与当前层GPU计算尽可能重叠，减少等待时间
2、面向Agent的语义感知缓存+全局专家缓存 针对Coding Agent频繁调用工具、修改上下文、删除旧Thinking Block等情况，在语义边界保存可复用的计算状态
当上下文发生局部变化时，尽可能只重新计算受影响的后续内容，减少长上下文重复计算的成本
解码阶段还通过全局LRU专家缓存，把频繁访问的专家尽可能保留在GPU中，减少反复加载权重的开销
3、弹性显存管理 推理过程中，可以动态调整显存在专家缓存和KV Cache之间的分配，不需要重启引擎重新加载模型
4、兼容现有Coding Agent 提供OpenAI、Anthropic兼容API，可接入Claude Code、Codex、OpenCode、OpenClaw等
在RTX 5090的相关Agent工作负载测试中，FreeToken各工作负载的最差首Token延迟均低于44秒，对照引擎在部分场景超过150秒
虽然44秒不算快，但对于需要频繁调用工具、修改上下文的Coding Agent来说，这种延迟改善有实际价值
以前本地部署超大模型，主要关注量化、权重卸载，但模型能装下，不代表推理速度能用，FreeToken给展示了另一条路线，让CPU、GPU、内存和 PCIe协同工作，把有限的硬件资源利用得更充分
这或可是本地AI Agent基础设施值得关注的一条技术路线
#FreeToken #本地部署AI #LocalAI
本条情报归属 AITOP「产品」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：FreeToken、DeepSeek、Claude Code、MoE，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「AIGCLINK」（@aigclink），经 AITOP 多维评分管线结构化提炼。截至目前，全网已有 11 家独立信源对该事件进行交叉印证与跟进报道（含 lmarena.ai、berryxia、shao__meng 等），属于近期高关注度行业信号。
