事件专题 ·多源确认

CertiSum:让 MXFP4 训练在不同平台与并行布局下结果完全一致

CertiSum 是一种让 MXFP4(4-bit 微缩放格式)训练实现逐位一致(bitwise-identical)的方法,解决同一输入在不同并行布局和 GPU 厂商之间产生不同结果的问题。 其核心观察是:MXFP4 乘积的 FP32 原生累加在多数求和顺序下本身就是精确的。CertiSum 在量化阶段收集统计信息来认证矩阵乘法结果,对未通过认证的输出进行精确重算,在认证几乎不成立的场景改用精确 kernel。它保持量化块在不同布局下不变,并在注意力与权重梯度计算中合并不带舍入的局部和。 在 200 步 Qwen3-8B-Base 实验中,CertiSum 在 AMD MI350X 与 NVIDIA GB200 之间以及 MI350X 上数据、张量、上下文并行布局切换时逐位保留训练状态。在 MI350X 上对 FineWeb-Edu 的三个 8B–14B 模型测试,它比非精确 MXFP4 对应实现增加 11.8–60.5% 的单步延迟,同时相对 BF16 最高加速 1.24×,相对确定性 BF16 最高加速 1.70×。

当前结论

跨厂商 GPU 和并行方式训练结果居然会不一样,这坑很多人踩过。这篇提出 CertiSum,让 4-bit MXFP4 训练逐位可复现,实测在 AMD 和 NVIDIA 卡上都一致,速度还比 BF16 快。做分布式训练和审计的朋友值得花时间看看。

4 个信源46° AI 热度最后更新 2026/11/16 18:54:07

证据链

4 个信源
相关来源 3The Information
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。