产品精选
FlyDSL 接入 PyTorch，AMD MI350 GPU 上获最高 3.01x vLLM 加速
精选理由
写 CUDA kernel 的朋友可以看看，FlyDSL 用 Python 写 kernel 就能在 AMD MI350 上跑，vLLM 推理最高快 3 倍。
开源 Python kernel DSL FlyDSL 现已通过 torch.compile 和 eager 模式接入 PyTorch，支持 AMD MI350 系列 GPU。在 GEMM kernel 测试中，geomean scaled 加速最高达 1.68x。在 vLLM 端到端推理服务场景下，加速最高达 3.01x。
原文 · PyTorch
FlyDSL, an open source Python kernel DSL, now plugs into PyTorch on @AMD MI350-series GPUs via torch.compile and eager mode.
Up to 1.68x geomean scaled GEMM kernel speedups and up to 3.01x end-to-end #vLLM serving speedups.
Read more: https://t.co/ALYzbUkdAs https://t.co/SCu7Zk1W7j
