#CPU推理

共 3 条 · 7 天 1 条 · 30 天 2 条

BitNet 1 Daedalus-150M 1 Hugging Face 1 llama.cpp 1 Microsoft 1 Transformers 1 卷积-注意力混合模型 1 基准测试 1

信息流里打上「CPU推理」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月13日

产品 Agent 与开发者12:25

微软开源 BitNet 推理框架：让 CPU 跑 1.58-bit 大模型

微软把 1.58-bit 量化模型做到 CPU 能跑，EPYC 16 线程跑到 461 token/s，没显卡也想本地跑模型的话可以看看这套开源框架。

#BitNet #Microsoft #CPU推理 #开源模型

Lxfater@lxfater原文

9月22日

产品官方一手21:32

Transformers支持llama.cpp量化模型

Hugging Face让Transformers支持llama.cpp量化，现在CPU也能跑大模型了

#Transformers #llama.cpp #Hugging Face #量化模型

官方一手Hugging Face: Blog3 个信源在谈原文

8月21日

Daedalus-150M：专为CPU推理设计的卷积-注意力混合模型

Daedalus-150M模型在CPU上实现了高效推理，与同类全注意力模型相比，在速度上具有显著优势，同时保持了相似的质量指标，值得一试。

#Daedalus-150M #卷积-注意力混合模型 #CPU推理 #模型训练

arXiv cs.AI@Christos Koutsiaris原文