LMSYS 推出 SGLang-TorchTPU 插件,让开发者用 SGLang 在 TPU 上部署模型
LMSYS 给 SGLang 出了个 TPU 插件,想用 PyTorch 那套工具在 TPU 上跑模型做智能体推理的开发者可以看看,还附了 TPU 训练的早期探索。
LMSYS 宣布 SGLang-TorchTPU 加入 SGLang 生态。它以插件形式工作,开发者可以用熟悉的 PyTorch 工具链在 TPU 上运行模型,并支持智能体工作负载的推理服务。官方还发布了功能与模型覆盖范围的说明,以及 TPU 训练的早期探索。
Welcome SGLang-TorchTPU to the family!
We're excited to offer a new path for developers to use familiar tools and stacks to support models on TPU, and serve them for agentic workloads!
Check out our write-up on how SGLang-TorchTPU works as a plugin for SGLang, its feature and model coverage, and our early exploration of training on TPU!
https://t.co/1Cq9sk62cB