#GPU显存

一张卡塞不下多个模型就只能换入换出？JointServe 边生成边预取权重、护住 KV，SLO 达标率从 2.8% 拉到 76.8%。