产品精选

LMSYS 推出 SGLang-TorchTPU 插件,让开发者用 SGLang 在 TPU 上部署模型

精选理由

LMSYS 给 SGLang 出了个 TPU 插件,想用 PyTorch 那套工具在 TPU 上跑模型做智能体推理的开发者可以看看,还附了 TPU 训练的早期探索。

LMSYS 宣布 SGLang-TorchTPU 加入 SGLang 生态。它以插件形式工作,开发者可以用熟悉的 PyTorch 工具链在 TPU 上运行模型,并支持智能体工作负载的推理服务。官方还发布了功能与模型覆盖范围的说明,以及 TPU 训练的早期探索。

图片来源 · LMSYS Org (SGLang)
原文 · LMSYS Org (SGLang)

Welcome SGLang-TorchTPU to the family!

We're excited to offer a new path for developers to use familiar tools and stacks to support models on TPU, and serve them for agentic workloads!

Check out our write-up on how SGLang-TorchTPU works as a plugin for SGLang, its feature and model coverage, and our early exploration of training on TPU!

https://t.co/1Cq9sk62cB