llama.cpp

llama.cpp 是一个开源的本地大模型推理引擎，主打把量化后的模型（GGUF 格式）跑在消费级 CPU 和 GPU 上，让个人设备无需云端即可运行百亿至千亿参数的语言模型，目前是本地部署生态中使用最广的底层项目之一。近期它的更新集中在推理提速、生态互通和极低比特量化三个方向。

llama.cpp 近期进展

MTP 支持带来 78% 提速：llama.cpp 新增多 token 预测（MTP）能力后，本地推理速度提升 78%，社区同步发布了运行教程，说明该特性已从论文走向可用阶段。llama.cpp 加入 MTP 支持，本地模型速度提升 78%、llama.cpp 运行 MTP 多 token 预测教程

与 Hugging Face 生态打通：Transformers 已支持直接加载 llama.cpp 量化模型，Hugging Face 联合创始人兼 CTO Julien Chaumond 还确认 Transformers 与 GGML 展开性能优化合作，两套工具链正走向互补。Transformers支持llama.cpp量化模型、Transformers 与 GGML 合作优化性能

1-bit 模型成为新卖点：腾讯混元为 Hy3 发布 1-bit 与 4-bit 版本，295B 参数模型单 GPU 即可运行；社区也演示了用 PrismML 部署 1-bit 的 Bonsai-27B，并接入 OpenAI 兼容的本地推理工作流。腾讯混元发布Hy3 1-bit/4-bit版本，295B模型单GPU可运行、用PrismML llama.cpp部署1位Bonsai-27B模型及本地推理工作流

当前焦点与观察点

一是评测口径问题：有研究显示本地部署栈会影响工具调用评测结果，同一模型换推理引擎得分可能不同，做对比测试时需注明栈配置。研究显示本地部署栈会影响工具调用评测结果

二是低比特量化的实用性：1-bit 让"单卡跑超大模型"成为可能，但精度损失与具体任务的匹配度仍需按场景验证，不宜只看参数规模。

三是生态走向：llama.cpp 与 Transformers、GGML 的合作意味着量化格式、推理后端和上层 API 的边界正在重构，开发者选型时需持续关注兼容性变化。

综述

llama.cpp 近期进展

当前焦点与观察点

相关报道