微软开源 BitNet 推理框架：让 CPU 跑 1.58-bit 大模型
精选理由
微软把 1.58-bit 量化模型做到 CPU 能跑，EPYC 16 线程跑到 461 token/s，没显卡也想本地跑模型的话可以看看这套开源框架。
微软开源的 BitNet 推理框架用 1.58-bit 低比特格式跑模型，权重只在 -1、0、+1 三个值中取值，从而让 CPU 也能承担推理。官方提供 24 亿参数的 BitNet 模型，并配有 CPU/GPU 内核。测试中 AMD EPYC 7V13 用 16 线程处理提示词达到 461.78 token/s，Cobalt 100 上的实现速度是原版的 2.10 倍。需要注意的是它只支持适配 BitNet 低比特格式的模型，不能直接加速任意 Qwen 或 Llama 模型。
原文 · Lxfater
本地跑大模型其实不需要显卡！！
微软开源的 BitNet 推理框架，想走一条更省硬件的路：让 CPU 跑模型。
所谓 1.58-bit，可以粗暴理解成：模型里的很多权重只在 -1、0、+1 三个值里选。计算和搬运的数据少了，推理就有机会更快、更省电。
官方已经提供 24 亿参数的 BitNet 模型，也做了 CPU / GPU 内核。
性能图下图： AMD EPYC 7V13 用 16 线程处理提示词达到 461.78 token/s； Cobalt 100 的一组提示词处理，最新实现是原版 2.10 倍。
当然，它不是把任意 Qwen、Llama 扔进去就自动加速的工具，得是适配 BitNet 低比特格式的模型。
看来以后不止 GPU 要涨价，CPU 可能也要！！
https://t.co/ksF6CwHE2Q
