Atomic Chat 发布 Muse Spark Open 816B 四档本地量化版本
Meta 的 816B 大模型现在有量化版能跑在 256GB 内存的机器上了,224GB 那档保住 89.2% 原始质量,有硬件的可以试试。
Atomic Chat 在 Hugging Face 上发布了 Meta 新模型 Muse Spark Open 816B 的 4 个 GGUF 量化版本,体积从 309.9GB 压缩到 174.9GB。其中 224.6GB 的 AD-IQ2_XXS 版本适合 256GB 内存的硬件,质量保持在 BF16 的 89.2%(top-1% 档位)。本地部署门槛被进一步降低。
Run Muse Spark Open locally ✨
We released 4 quants of @AIatMeta's new 816B model on Hugging Face from 309.9GB down to 174.9GB
The sweet spot is our 224.6GB AD-IQ2_XXS for 256GB hardware with a top-1% of 89.2% compared to BF16
GGUFs 👇 https://t.co/3ECkM5cAqE