Zyphra 发布 ZYFA：提升 AMD MI355X 上 FP8 FlashAttention 速度与精度

Attention 在长上下文 prefill 中是计算瓶颈，AMD Instinct MI355X 的 AITER 内核在 32K tokens 下只达到 FP8 峰值矩阵吞吐的 39%，低于 BF16 的 49%。Zyphra 的 ZYFA 用直接乘加代替指数运算、ping-pong 调度让 softmax 与矩阵乘重叠、2 的幂缩放后再舍入三项技术优化 FP8 FlashAttention。在三个模型的真实注意力输入上，ZYFA 达到 AITER 的 1.16-1.76 倍吞吐；在 head dimension 128 时数值误差比 AITER 低 62-78%，与 Composable Kernel 和 Triton 相近。源代码已在 GitHub 开源。