#BitNet

共 1 条 · 7 天 1 条 · 30 天 1 条

CPU推理 1 Microsoft 1 开源模型 1 量化 1

信息流里打上「BitNet」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月13日

产品 Agent 与开发者12:25

微软开源 BitNet 推理框架：让 CPU 跑 1.58-bit 大模型

微软把 1.58-bit 量化模型做到 CPU 能跑，EPYC 16 线程跑到 461 token/s，没显卡也想本地跑模型的话可以看看这套开源框架。

#BitNet #Microsoft #CPU推理 #开源模型

Lxfater@lxfater原文