产品官方一手精选

Meta 开源 TLX:面向生产级 ML 的硬件原生 GPU 编译器扩展

How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale

精选理由

Meta 开源了 Triton 的底层扩展 TLX,暴露 warp-group 和 cluster 级控制,写 kernel 的人不用再在性能和开发效率之间二选一。做推荐系统或 LLM 预训练调优的工程师可以看看这个。

Meta 工程团队发布了 Triton Low-Level Extensions(TLX),这是对 Triton 编译器的扩展,用于在生产级 ML 场景中优化 GPU 性能。TLX 引入了显式的 warp-group 和 cluster 级编排机制,让开发者可以在不牺牲开发效率的前提下使用新 GPU 硬件能力。Meta 已在 RecSys 训练、RecSys 推理和大规模 LLM 预训练三类工作负载中验证了 TLX 的性能改进。

图片来源 · Meta Engineering Blog
正文

从技术机制看,TLX 保留了 Triton 原有的高层编程模型,同时通过更底层的硬件原语暴露控制能力。这意味着工程师写 Triton kernel 时,可以针对 Blackwell 等新架构上的 warp-group 通信和 SM cluster 协作做细粒度编排,而不必迁移到 CUDA C++ 或手写 PTX。这种设计瞄准的是 Triton 生态中常见的问题:高层抽象简单但性能有天花板,底层方案性能好但维护成本高。

对生态的影响在于,Meta 将 TLX 定位为开源项目,推荐系统训练和 LLM 预训练团队是首批受益者。与直接使用 OpenAI Triton 或 CUTLASS 相比,TLX 走的是中间路线:保留 Triton 的 productivity,同时提供 cluster/warp 级别的显式控制,适合需要在自有 GPU 集群上做极致调优的 ML 平台团队。

原文 · Meta Engineering Blog

How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale

Triton Low-Level Extensions (TLX), is an extension to Triton that helps engineers optimize GPU performance while preserving Triton’s productive programming model. TLX introduces explicit warp-group and cluster-level orchestration, letting developers adopt new hardware capabilities without sacrificing velocity. TLX has demonstrated performance improvements in RecSys training, RecSys inference, and large-scale LLM pretraining. Modern GPU architectures increasingly [...] Read More... The post How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale appeared first on Engineering at Meta .

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:TLX、Triton、Meta、GPU优化,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始信息发布自一手权威信源「Meta Engineering Blog」(Tier-1 一手发布),具备高确定性参考价值。