17:47官方账号arXiv cs.LG@Junyi Ye, Ivy Gateri Wanjiku该论文系统研究了后训练量化(PTQ)中激活值校准对S&P 500横截面波动率预测的影响,涵盖7种神经网络架构、8个walk-forward测试年(2018-2025)和560个训练模型。结果显示,8比特下校准影响很小,但4比特时校准成为预测性能的主要决定因素。在默认abs-max校准下,静态4比特量化权重和激活值会使受影响架构的全精度平均信息系数损失11-62%。改用百分位校准可恢复四种受影响最严重架构中53-94%的退化。论文指出激活值校准是金融预测中可靠4比特PTQ的一级部署决策,剩余退化严重时可选用8比特激活值或仅权重4比特量化。论文PTQ量化金融预测推荐理由:论文用560个模型实测了4比特量化在S&P 500波动率预测上的效果,发现校准方式能决定性能好坏,做量化部署的可以看看。原文稍后读已读值得跟进有用关注 PTQ
12:32官方账号arXiv cs.LG@Md. Mehrab Hossain Opi, Robiul Islam Ryad, Md. Umar FarukMixFrag提出一种面向视觉Transformer的脆弱性引导混合精度训练后量化框架。它通过计算全精度与量化输出分布的KL散度来估计各组件量化脆弱性,并将位宽分配建模为多选择背包问题。在ImageNet-1K上,MixFrag在多种ViT架构下取得有竞争力的分类精度。在COCO目标检测与实例分割任务中,MixFrag在MP3/MP3设置下比此前最优方法提升高达9.6 AP。论文MixFrag量化视觉Transformer推荐理由:MixFrag用KL散度定位模型里对量化最敏感的部分,再把位宽分配变成背包问题。在COCO上比之前最好的混合精度PTQ方法涨了9.6 AP,跑ViT的可以看看。原文稍后读已读值得跟进有用关注 MixFrag