GGUFs 是一种专为本地推理设计的模型量化文件格式，由 llama.cpp 项目提出，现已成为在大语言模型社区中在个人设备上运行开源模型的事实标准。它将模型权重压缩为不同精度等级（如 Q4、Q8 等量化版本），让消费级硬件也能承载原本需要数据中心级 GPU 的模型。
GGUFs 近期进展
当前焦点与观察点
从近期动态看，GGUFs 生态呈现三个趋势：一是覆盖速度加快，新模型（如 MiniCPM-V 4.7 35B-A3B、Nemotron 3.5 Super VL、Ling-3.1-flash 等）往往在发布同期就推出量化版本；二是目标硬件下限持续降低，从 256GB 的 Mac Studio 到 16GB 内存的普通 Mac 都有对应方案，多模态模型的本地化也在同步跟进；三是部分发布主打“无审查”版本，这类去对齐模型带来了能力开放与使用边界的争议，值得留意其合规风险。
对普通用户而言，选择 GGUFs 的关键在于匹配硬件：参数量、量化精度和激活规模共同决定所需内存。随着 llama.cpp 等推理框架的成熟与 Apple Silicon 等统一内存设备的普及，本地运行大模型的成本和门槛仍在稳步下降。