产品精选

SGLang 推理引擎新增对 AWS Trainium 芯片的支持

精选理由

做推理部署的可以关注:SGLang 把 AWS Trainium 也收进了支持列表,加上原有的 NVIDIA、AMD、Intel 和 Google 芯片,一套软件就能切换多家硬件。如果你的团队在评估 Trainium 成本优势,现在不用换框架就能试。跑 FLUX、Wan2.2 这类视频模型的也用得上。

开源推理引擎 SGLang 宣布支持 Amazon 的 AWS Trainium 芯片。Meta 和 Google 等顶级实验室都在使用这款软件来运行 AI 模型。

正文

在此之前,SGLang 已经支持 NVIDIA、AMD、Intel 和 Google 的芯片。新增 Trainium 后,AI 公司可以按自己的流水线选择最合适的芯片,而无需更换推理软件。其工作方式是接收请求、在芯片上运行模型,然后同时把结果返回给大量用户。

除了文本模型,SGLang 还能运行 FLUX 和 Wan2.2 这类图像与视频模型。对使用 AWS 自研芯片的企业来说,这意味着可以在熟悉的软件栈上部署 Trainium,减少对 NVIDIA 生态的依赖。

原文 · TestingCatalog

SGLang now runs on Amazon's AWS Trainium chips. Top labs like Meta and Google use this open-source software to run AI models.

It already supports NVIDIA, AMD, Intel, and Google chips, letting AI companies choose the chip that best fits their pipeline without switching software.

SGLang takes each request, runs the model on the chips, and sends the answer back to many users at once. It can also run image and video models like FLUX and Wan2.2.

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:SGLang、AWS、Trainium、推理引擎,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「TestingCatalog」(@testingcatalog),经 AITOP 多维评分管线结构化提炼。

SGLang 推理引擎新增对 AWS Trainium 芯片的支持|AI热报