模型83°
Bonsai 2 27B 配 9.7 MB 适配器可去审查并保持 MMLU 成绩
精选理由
一个才 9.7 MB 的小适配器，挂在 Bonsai 2 27B 上就能去掉拒绝回答，MMLU 几乎不掉分，16 GB 的 MacBook 也能跑。
Atomic Chat 发布一个 9.7 MB 的运行时适配器，可将 Bonsai 2 27B 的拒绝回答率从 99% 降到 0%。该适配器对 5.95 GB 和 7.21 GB 两个量化版本都有效，可在 16 GB 内存的 MacBook 上运行。MMLU 成绩为 73.0%，与原版 73.2% 基本持平。适配器已上架 Hugging Face 供下载。
原文 · @atomic_chat_hq
Run uncensored Bonsai 2 27B on 16 GB MacBook 💻
Our 9.7 MB adapter cuts refusals from 99% to 0% at runtime on both the 5.95 GB and 7.21 GB versions and still answers 73.0% of MMLU questions right vs 73.2% for the original
Get it on our HF ⬇️ https://t.co/2E5j8wRVom https://t.co/rYlWrl1CEi
