主要来源AWS Machine Learning Blog
查看原文事件专题 ·官方一手
在 Amazon EKS 上用 NVIDIA Run:ai 实现单张 A10G GPU 跑两个 Pod
AWS 发布教程,演示在 Amazon EKS 上使用开源的 NVIDIA Run:ai GPU Fractioning,让两个内存受限的 Kubernetes Pod 共享同一张 NVIDIA A10G GPU。教程从零开始搭建:构建自定义 Amazon Linux 2023 镜像,安装 KAI Scheduler 和 GPU Fractioning Operator 两个核心组件。 工作流程包含三个环节:通过调度器把 Pod 分配到同一块 GPU,由 Operator 划分显存配额,再对每个 Pod 的 GPU 内存契约做强制执行和指标验证。这意味着原本一个 Pod 独占一张 GPU 的模式,可以改为按显存切片使用。 对小显存模型推理、开发测试这类负载,切分能直接降低单位 GPU 成本。相比 NVIDIA 自己的 MIG 硬件级切分,Run:ai 方案走软件层、适用于 A10G 等不支持 MIG 的卡,部署在 EKS 上的团队可以直接照着教程落地。
当前结论
做 Kubernetes 上 GPU 调度的朋友可以看看,AWS 官方手把手教你在 EKS 上把一张 A10G 切给两个 Pod 用,用的是开源的 Run:ai 方案。推理负载小的团队照着做能省不少 GPU 开销,比硬件 MIG 更通用。
11 个信源31° AI 热度最后更新 2026/11/19 16:13:51
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。