PyTorch 的 Helion 内核 DSL 集成 vLLM,部分工作负载吞吐提升超 10%
PyTorch 官方把 Helion 接进 vLLM,一套 GEMM 代码自动选最优算法,在 Hopper 上跑赢 CUTLASS 和 DeepGEMM,搞推理部署的可以看看。
Helion 是 PyTorch 团队推出的内核 DSL,官方博客展示了如何将其集成到 vLLM 的线性后端。
一套 Helion GEMM 实现覆盖 Standard GEMM、Split-K 和 Swap-AB 三种算法变体,按张量形状自动选择最优配置。在 NVIDIA Hopper GPU 上,结合逐形状调优与混合调度,性能超过 vLLM 默认的 CUTLASS 和 DeepGEMM 后端,部分工作负载端到端吞吐提升超过 10%。
文章作者来自 Red Hat 和 Meta 的 PyTorch 团队。
Helion, PyTorch's kernel DSL, is showing what autotuned high-level kernels can do for production inference.
In this post, we integrate Helion into @vllm_project linear backend and show how a single Helion GEMM implementation can cover multiple algorithmic variants — Standard GEMM, Split-K, and Swap-AB — with the best variant and config selected automatically per shape. On @nvidia Hopper GPUs, combining per-shape tuning with hybrid dispatch outperforms vLLM's default CUTLASS and DeepGEMM backends across the evaluated models, with consistent end-to-end gains and more than 10% throughput improvement on some workloads.
Read our latest blog: https://t.co/34ni2qmEes
✍️ Sean Chen (@RedHat) and Shangdi Yu (PyTorch, @Meta Platforms)
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Helion、PyTorch、vLLM、CUTLASS,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「PyTorch」(@PyTorch),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 marktechpost、TestingCatalog、IT之家 等),属于近期高关注度行业信号。