vLLM 双向 KV 缓存传输降低多轮智能体首 token 延迟
如果你在跑多轮 Agent 服务，这篇讲 vLLM 的 KV 缓存跨节点复用，Qwen3-32B 和 GLM-5-FP8 实测 TTFT 快了 1.6 到 3.3 倍，附部署细节。
#GLM-5-FP8
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「GLM-5-FP8」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月20日
如果你在跑多轮 Agent 服务，这篇讲 vLLM 的 KV 缓存跨节点复用，Qwen3-32B 和 GLM-5-FP8 实测 TTFT 快了 1.6 到 3.3 倍，附部署细节。