在 Amazon EKS 上用 NVIDIA Run:ai 实现单张 A10G GPU 跑两个 Pod
做 Kubernetes 上 GPU 调度的朋友可以看看,AWS 官方手把手教你在 EKS 上把一张 A10G 切给两个 Pod 用,用的是开源的 Run:ai 方案。推理负载小的团队照着做能省不少 GPU 开销,比硬件 MIG 更通用。
做 Kubernetes 上 GPU 调度的朋友可以看看,AWS 官方手把手教你在 EKS 上把一张 A10G 切给两个 Pod 用,用的是开源的 Run:ai 方案。推理负载小的团队照着做能省不少 GPU 开销,比硬件 MIG 更通用。