模型多源确认精选73°

社区推出 MiniCPM5-2B 的 EXL3 4-bit 量化版,权重仅 1.61 GB

精选理由

MiniCPM5-2B 出了 4-bit 量化版,权重才 1.61 GB,T4 上能跑 70 tokens/s,想在自己机器上跑小模型可以试试。

社区为 MiniCPM5-2B 制作了一个 EXL3 4-bit(4.0 bpw)量化版本,量化后模型权重只有 1.

正文

61 GB。在 NVIDIA Tesla T4 上实测推理速度约 68–70 tokens/s。

该版本支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理,适合低资源设备的本地部署。

原文 · OpenBMB

⚡ Making MiniCPM5-2B even more lightweight for local inference!

A community-built EXL3 4-bit quantization of MiniCPM5-2B brings the quantized model weights down to just 1.61 GB.

✨ Highlights: ⚡ 4.0 bpw EXL3 quantization for a smaller model footprint 🚀 ~68–70 tokens/s verified on an NVIDIA Tesla T4 💾 Just 1.61 GB for the quantized model weights 🛠️ Supports local inference with ExLlamaV3 and TabbyAPI

A great community contribution showing how MiniCPM5-2B can be optimized for more lightweight and accessible local AI deployments.

🤗 Model: https://t.co/rMRcOqqxFC 🤗 Base model: https://t.co/FZOMTZh3tS

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:MiniCPM5-2B、OpenBMB、量化、本地推理,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「OpenBMB」(@OpenBMB),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 Decoder、Artificial Analysis、Aravind Srinivas 等),属于近期高关注度行业信号。