GLM 5.3 在 Cloudflare Workers AI 出现跨请求 KV 缓存泄露,SGLang 修复方案公布
Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang
用 GLM 5.3 或自建 SGLang 推理服务的值得看看,Cloudflare 公开了 KV cache 跨请求泄露的排查和修复细节。
Cloudflare 在 Workers AI 上部署 GLM 5.3 时,配置不匹配触发了 SGLang 的一个 bug,导致跨请求暴露 KV cache 页面。这意味着部分用户的推理上下文缓存可能被其他请求读到。Cloudflare 与 SGLang 方面配合定位问题并完成修复。文章详细记录了排查过程和缓解措施。
Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang
A configuration mismatch in GLM 5.3 on Workers AI triggered an SGLang bug that exposed KV cache pages across requests. Here is how we addressed the issue.