技巧官方一手精选

在 Amazon EKS 上用 NVIDIA Run:ai 实现单张 A10G GPU 跑两个 Pod

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS

精选理由

做 Kubernetes 上 GPU 调度的朋友可以看看,AWS 官方手把手教你在 EKS 上把一张 A10G 切给两个 Pod 用,用的是开源的 Run:ai 方案。推理负载小的团队照着做能省不少 GPU 开销,比硬件 MIG 更通用。

AWS 发布教程,演示在 Amazon EKS 上使用开源的 NVIDIA Run:ai GPU Fractioning,让两个内存受限的 Kubernetes Pod 共享同一张 NVIDIA A10G GPU。教程从零开始搭建:构建自定义 Amazon Linux 2023 镜像,安装 KAI Scheduler 和 GPU Fractioning Operator 两个核心组件。

图片来源 · AWS Machine Learning Blog
正文

工作流程包含三个环节:通过调度器把 Pod 分配到同一块 GPU,由 Operator 划分显存配额,再对每个 Pod 的 GPU 内存契约做强制执行和指标验证。这意味着原本一个 Pod 独占一张 GPU 的模式,可以改为按显存切片使用。

对小显存模型推理、开发测试这类负载,切分能直接降低单位 GPU 成本。相比 NVIDIA 自己的 MIG 硬件级切分,Run:ai 方案走软件层、适用于 A10G 等不支持 MIG 的卡,部署在 EKS 上的团队可以直接照着教程落地。

原文 · AWS Machine Learning Blog

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS

Learn how to run two memory-bounded Kubernetes Pods on a single NVIDIA A10G GPU using open-source NVIDIA Run:ai GPU Fractioning on Amazon EKS. This walkthrough builds a custom Amazon Linux 2023 image, installs KAI Scheduler and the GPU Fractioning Operator, and validates per-Pod GPU-memory contracts with enforcement and metrics.

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:NVIDIA、Amazon EKS、Run:ai、GPU切分,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始信息发布自一手权威信源「AWS Machine Learning Blog」(Tier-1 一手发布),具备高确定性参考价值。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 TestingCatalog、vLLM、Ate-a-Pi 等),属于近期高关注度行业信号。