伯克利与MIT开源推理引擎 FreeToken：个人电脑可跑数千亿参数 MoE
伯克利和 MIT 出的开源引擎，专治本地跑不动 MoE 大模型的问题：一台 RTX 5090 加 192GB 内存就能跑 DeepSeek 284B，每秒 20 多个 token。它把 CPU、GPU 和 PCIe 当整体调度，还能直接接 Claude Code 当后端。自己有硬件想跑大模型的开发者可以上手试试。
#FreeToken
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「FreeToken」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月16日
