Microsoft 与清华论文:多数 GPU kernel 库故障源自编译器与环境而非 kernel 代码
搞 GPU 训练或部署的应该看看:Microsoft 和清华拆了 300 个 GitHub issue,发现六成故障根本不在 kernel,而是 CUDA 版本、驱动不兼容这类环境问题。下次训练挂了先查环境再怀疑 FlashAttention,能省不少排查时间。
搞 GPU 训练或部署的应该看看:Microsoft 和清华拆了 300 个 GitHub issue,发现六成故障根本不在 kernel,而是 CUDA 版本、驱动不兼容这类环境问题。下次训练挂了先查环境再怀疑 FlashAttention,能省不少排查时间。
NVIDIA 给 CUTLASS Python 加了新工具,能让开发者更快写 GPU 内核,还加了错误检查功能。
PyTorch 官方把 Helion 接进 vLLM,一套 GEMM 代码自动选最优算法,在 Hopper 上跑赢 CUTLASS 和 DeepGEMM,搞推理部署的可以看看。