产品官方一手
Zyphra 发布 ZYFA：AMD MI355X 上的 FP8 FlashAttention 内核
Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster
精选理由
Zyphra 开源了 MI355X 上的 FP8 attention 内核，比 AMD 官方 AITER 最快快 1.76 倍，误差还更低，搞 AMD 推理的可以看看。
Zyphra 开源了 ZYFA，一套面向 AMD Instinct MI355X 的 FP8 与 BF16 prefill attention 内核。在真实模型激活数据上，其 FP8 内核比 AMD 的 AITER 快 1.16-1.76 倍。在 head dimension 128 下，误差降低 62-78%。代码开源，面向在 AMD GPU 上做大模型推理的开发者。
原文 · marktechpost
Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster
Zyphra released ZYFA, open-source FP8 and BF16 prefill attention kernels for AMD Instinct MI355X. On real model activations, its FP8 kernels run 1.16-1.76x faster than AMD’s AITER, with 62-78% lower error at head dimension 128. The post Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster appeared first on MarkTechPost .
