10:12
官方账号arXiv cs.AI@Deokjae Lee, Sihun Chu, Hyun Oh Song
精选73°
推荐理由：SNU MLLab团队发布Q-Strata，解决了MoE模型混合精度量化的难题，比现有方法性能更好。
混合精度量化
共 2 条相关 AI 资讯
9月1日
10:12
Q-Strata是一种双层分配器，针对Mixture-of-Experts模型提出。该方法在每个MoE块内使用廉价代理进行候选排名，并在块间设置预算。在Mixtral-8x7B-Instruct、Qwen1.5-MoE-A2.7B和DeepSeek-V2-Lite模型上测试，Q-Strata在低比特率下实现了比均匀比特宽度的GPTQ和最先进的MoE MPQ方法MxMoE、GEMQ更低的WikiText2困惑度。
8月13日
18:01
18:01
官方账号arXiv cs.AI@Yuefeng Zhang
推荐理由：HAMP-LIC给图像压缩模型做混合精度量化，模型省4.85倍，BD-rate只掉0.59%，还消除跨平台不一致。值得一看。