AWS 推出 Ray LLM 深度学习容器，支持多节点 LLM 推理部署
AWS 出了个预装好整套推理栈的容器，能在 EKS 上把一个大模型拆到两个 GPU 节点跑，prefill 和 decode 分开，省去自己搭环境。
#Amazon EKS
共 5 条 · 7 天 1 条 · 30 天 3 条
信息流里打上「Amazon EKS」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月13日
9月26日
在 Amazon EKS 上用 EFA 与 DeepEP 扩展 MoE 强化学习，吞吐量提升 40%
AWS 官方给出了在 EKS 上跑 MoE 强化学习的架构，用 EFA 加 DeepEP 把 RLHF/GRPO 训练吞吐量提高了 40%，自建训练集群的可以抄作业。
9月23日
AWS、NVIDIA 与 LangChain 联办智能体基础设施线下活动
在搞生产级 agent 部署的朋友可以看看，讲的是 EKS 加 NVIDIA 加 LangChain 这套组合怎么落地，能注册去现场听。
8月25日
8月11日
在Amazon EKS上运行JupyterLab和Code Editor，SageMaker AI Spaces插件上手
AWS出了个新插件，能在你已有的EKS集群上直接跑JupyterLab和Code Editor，不用另起炉灶，还支持VS Code远程连。