行业官方一手

GLM 5.3 在 Cloudflare Workers AI 出现跨请求 KV 缓存泄露,SGLang 修复方案公布

Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang

精选理由

用 GLM 5.3 或自建 SGLang 推理服务的值得看看,Cloudflare 公开了 KV cache 跨请求泄露的排查和修复细节。

Cloudflare 在 Workers AI 上部署 GLM 5.3 时,配置不匹配触发了 SGLang 的一个 bug,导致跨请求暴露 KV cache 页面。这意味着部分用户的推理上下文缓存可能被其他请求读到。Cloudflare 与 SGLang 方面配合定位问题并完成修复。文章详细记录了排查过程和缓解措施。

原文 · Cloudflare Blog

Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang

A configuration mismatch in GLM 5.3 on Workers AI triggered an SGLang bug that exposed KV cache pages across requests. Here is how we addressed the issue.