Anyscale 工程师直播：用 Ray Serve 部署与优化 LLM 推理

Anyscale 工程师 Marwan 将在一场直播课中讲解 Ray Serve LLM 的部署与扩缩容，覆盖 vLLM 和 SGLang 两种推理引擎。课程内容包括 KV cache、paged attention、prefix caching 和 continuous batching 等推理优化手段，以及 KV-cache-aware routing、prefill/decode 分离和 MoE 模型的 wide expert parallelism 等大规模扩展技术。最后还会演示如何把自托管模型接入 Claude Code、Cursor、Codex 等编程助手，并对比自建 GPU、订阅制与按 token 计费三种方式的成本。