NVIDIA Dynamo 演示如何在 Kubernetes 上扩展模型端点
精选理由
NVIDIA 出了个 5 分钟视频，教你用 Dynamo 把单个模型端点在 Kubernetes 上扩成多 worker，还带 OpenAI 兼容接口，运维模型服务的可以直接看。
NVIDIA 发布了一段 5 分钟演示视频，讲解如何用 NVIDIA Dynamo 在 Kubernetes 上扩展已运行的模型端点。Dynamo 通过可扩展的 worker 处理部署，并提供 OpenAI 兼容端点，方便现有应用直接接入。视频针对已有单实例模型端点、需要水平扩容的开发者场景。
原文 · NVIDIA AI
Already running a model endpoint? What does it take to scale it on Kubernetes? In five minutes, we walk through how NVIDIA Dynamo handles deployment with scalable workers and an OpenAI-compatible endpoint. Watch below: Your browser does not support the video tag. 🔗 View on Twitter 💬 6 🔄 1 ❤️ 23 👀 2170 📊 9 ⚡
