17:45IT之家（博客/媒体）
71°
推荐理由：想用295B的旗舰模型又没多卡？腾讯混元把Hy3压到1bit，一张显卡就能跑，效果还挺稳。
4bit量化
共 1 条相关 AI 资讯
7月14日
17:45
腾讯混元将295B参数的Hy3模型权重量化至1bit和4bit，1bit版本体积从598GB压缩至85.5GiB，单张96GB显卡即可运行；4bit版本体积169.9GiB需两张显卡。量化后性能接近原始BF16模型，长文理解几乎持平，Agent和代码能力仅小幅回落。配合llama.cpp和MTP投机解码，开启后解码速度提升约50%-60%。