产品官方一手
Google、Red Hat 与 IBM 发布 llm-d 1.0 开源分布式推理栈
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
精选理由
做 LLM 推理部署的可以看看，llm-d 1.0 开源了，能管多租户、不停机升级，还支持 TPU 和 GPU 混用。
Google、Red Hat 和 IBM 联合发布 llm-d 1.0，这是一个基于 Kubernetes 的开源分布式 LLM 推理栈。该版本支持多租户流控、零停机升级，并能在 vLLM、SGLang、TPU 和 GPU 之间进行缓存感知与面向智能体的路由。它面向需要在多硬件集群上运行大模型推理的工程团队。
原文 · marktechpost
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
Google, Red Hat and IBM released llm-d 1.0, an open-source Kubernetes-native stack for distributed LLM inference. It adds multi-tenant flow control, zero-downtime upgrades and agent-aware routing across vLLM, SGLang, TPUs and GPUs. The post Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets appeared first on MarkTechPost .
- PyTorch10-20 17:41原文
