技巧多源确认
NVIDIA Nemotron 3.5 Super VL 120B 量化版可跑在 64GB Mac 上
精选理由
NVIDIA 的 120B 视觉模型被压到 59.3GB，64GB Mac 就能本地跑，量化后还保留近九成性能，附了下载链接。
Atomic Chat 在 Hugging Face 上发布了 NVIDIA Nemotron 3.5 Super VL 120B 视觉模型的 7 个 GGUF 量化版本，体积从 131.6GB 压缩到 59.3GB。针对 64GB 内存的 Mac，推荐 59.3GB 的 AD-IQ2_M 量化，与 BF16 原版相比保留 top-1% 89.8% 的性能。用户可以直接下载对应量化文件在本地运行这个 120B 视觉模型。
原文 · @atomic_chat_hq
Run Nemotron 3.5 Super VL locally on 64GB Mac 💻
We released 7 quants of @NVIDIAAI's new 120B vision model on Hugging Face from 131.6GB down to 59.3GB
For a 64GB Mac we recommend the 59.3GB AD-IQ2_M with a top-1% of 89.8% compared to BF16
GGUFs 👇 https://t.co/q6sbDxs4JC https://t.co/BbJsmXuI3E
