BuoyantIO 开源 Kinference：在 Kubernetes 上运行 vLLM 的控制平面
精选理由
BuoyantIO 给 vLLM 做了个 Kubernetes 控制平面，开源的，想在自家集群跑 vLLM 推理的可以照着入门指南试一下。
vLLM 官方博客介绍了 Kinference，这是 BuoyantIO 构建的开源控制平面，用于在 Kubernetes 上运行 vLLM。项目提供入门指南，面向需要自托管 vLLM 推理服务的团队。它补齐了 vLLM 在集群编排层面的管理能力。
原文 · vLLM
We’re excited to feature Kinference on the vLLM blog. @BuoyantIO built a new open source control plane for running vLLM on Kubernetes.
Try it with the getting started guide and send the team your feedback!
