Lambda 发布开源 GPU 内核 TurboPairFormer，OpenFold3 训练提速 1.73 倍

Lambda、Stevens Institute of Technology 与 OpenFold 团队联合发布开源 GPU 内核 TurboPairFormer，针对 NVIDIA Hopper GPU 上的三角形注意力计算。相比 OpenFold3 原有的 Triton 后端，每个优化器步骤的 GPU 计算最高提速 1.73 倍，同时在 H200 上跑 768 pixel 输入时为 14.67 秒/步，比 OpenFold3 Triton 的 22.53 秒/步快 1.54 倍。 三角形注意力随训练 crop 尺寸呈三次方增长，crop 翻倍成本约增加 8 倍，而现有后端往往在速度、精度和可复现性之间取舍。TurboPairFormer 在三个维度同时改进：与 FP64 参考相比，Q/K 和 pair-bias 梯度误差为所有对比方案中最低；在全部 600 个固定输入测试中，Q、K、value、pair-bias 四类梯度均实现逐位一致（bitwise-identical）。 该内核支持 H100 和 H200，代码开源。对从事蛋白质结构预测、依赖 OpenFold3 做大规模训练的团队来说，这意味着在不牺牲梯度精度和可复现性的前提下，可以直接压缩单步训练耗时和 Hopper GPU 租用成本。