#Ray Serve

共 3 条 · 7 天 1 条 · 30 天 1 条

AWS 1 GPU推理 1 MoE 1 SGLang 1 TorchServe 1 vLLM 1 推理优化 1 深度学习容器 1

信息流里打上「Ray Serve」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月14日

技巧 Agent 与开发者多源确认精选00:09

Anyscale 网络研讨会：用 Ray Serve 构建可扩展的分布式推理系统

Anyscale 要开讲 Ray Serve 推理系统设计了，从 KV cache 优化到 MoE 扩展都讲，还教你算自建 GPU 和 API 计费哪个便宜。

#Ray Serve #vLLM #SGLang #MoE

Anyscale@anyscalecompute11 个信源在谈原文

9月9日

产品 Agent 与开发者官方一手23:57

AWS推出Ray Serve深度学习容器支持TorchServe

AWS新容器帮你搞定TorchServe遗留问题，预装好所有组件，直接部署视觉语言模型。

#TorchServe #Ray Serve #AWS #深度学习容器

官方一手AWS Machine Learning Blog@Ananth Raghavendra原文

6月16日

技巧 Agent 与开发者精选20:16

Anyscale团队详解PD Disaggregation with Ray Serve + vLLM在AMD MI325X上测试

vLLM推荐了Anyscale的这篇实战文章，讲清楚了PD Disagg在Ray Serve加vLLM上的做法，还在AMD MI325X上测过，值得搞推理部署的人看看。

#vLLM #Ray Serve #Anyscale #AMD MI325X

官方账号vLLM@vllm_project原文