Buoyant 开源 Kinference：面向 Kubernetes 和 vLLM 的推理控制平面
Buoyant 开源了 Kinference，给 Kubernetes 上跑 vLLM 加了 KV-cache 感知负载均衡，自家基准里首 token 延迟降了 95%。
#Buoyant
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Buoyant」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月7日
Buoyant 开源了 Kinference，给 Kubernetes 上跑 vLLM 加了 KV-cache 感知负载均衡，自家基准里首 token 延迟降了 95%。
