Anyscale 网络研讨会：用 Ray Serve 构建可扩展的分布式推理系统

Anyscale 宣布举办一场关于生产级分布式推理系统设计的网络研讨会，核心围绕 Ray Serve 展开。内容包括用 vLLM 和 SGLang 等引擎部署 LLM 端点，以及 KV cache、paged attention、continuous batching 等推理引擎优化手段。研讨会还会讲解 KV-cache-aware 路由、prefill/decode 分离和 MoE 模型的 wide expert parallelism 等规模化技术。另外涉及在 Anyscale 上部署自定义 LLM 并接入 Claude Code、Cursor、Codex 等编程工具，以及对比自建 GPU、订阅制与 token 计费三种方案的成本。