Anyscale 将在 PyTorch Conference 举办 Ray 与 vLLM 团队咖啡聚会
去 PyTorch Conference 的话可以报名这个咖啡聚会,能当面跟 Ray 和 vLLM 团队聊推理部署的实战问题。
去 PyTorch Conference 的话可以报名这个咖啡聚会,能当面跟 Ray 和 vLLM 团队聊推理部署的实战问题。
LinkedIn 工程师要讲他们怎么用 Ray 把 CPU 预处理和 GPU 训练串起来跑强化学习,做分布式训练的可以听听他们的实践经验。
Ray 作者本人要在 PyTorch 大会讲它和 Kubernetes 怎么配合,搞分布式训练和 AI 基础设施的可以去 San Jose 现场听。
Anyscale 要去 Encord 办的 Long Horizon 大会了,展位 P1,还有两场关于 Ray 做物理 AI 数据和合成数据生成的演讲,去现场的可以听听。
AWS 出了个预装好整套推理栈的容器,能在 EKS 上把一个大模型拆到两个 GPU 节点跑,prefill 和 decode 分开,省去自己搭环境。
卫星影像公司 Xoople 处理整颗行星的 PB 级数据,他们没自建计算层,直接用 Anyscale 上的 Ray,讲了选型原因。
用 Ray 做训练推理的团队可以看看,Anyscale 登陆 Azure 了,数据模型都留在自己租户里,还能直接走 Azure 账单付费。