#edge0-infer

共 1 条 · 7 天 1 条 · 30 天 1 条

MoE 1 开源模型 1 推理引擎 1 本地推理 1

信息流里打上「edge0-infer」标签的资讯、产品与论文，按刊登时间排，新的在上。

11月12日

模型 Agent 与开发者12:15

Edge0开源推理引擎：2.5GB内存本地运行35B MoE模型

把35B MoE模型权重放硬盘、用路由模块预测激活的3B提前预读，16GB内存电脑和iPhone都能跑，M5上每秒25个token。做本地部署或端侧推理的开发者可以直接看下GitHub实现。

#edge0-infer #MoE #本地推理 #开源模型

Gorden Sun@Gorden_Sun原文