CertiSum:让 MXFP4 训练在不同平台与并行布局下结果完全一致
跨厂商 GPU 和并行方式训练结果居然会不一样,这坑很多人踩过。这篇提出 CertiSum,让 4-bit MXFP4 训练逐位可复现,实测在 AMD 和 NVIDIA 卡上都一致,速度还比 BF16 快。做分布式训练和审计的朋友值得花时间看看。
跨厂商 GPU 和并行方式训练结果居然会不一样,这坑很多人踩过。这篇提出 CertiSum,让 4-bit MXFP4 训练逐位可复现,实测在 AMD 和 NVIDIA 卡上都一致,速度还比 BF16 快。做分布式训练和审计的朋友值得花时间看看。