SGLang-Neuron 上线 AWS Deep Learning Container，支持在 Trainium 上部署大模型
SGLang 用户现在可以直接把推理和 RL rollout 跑到 AWS Trainium 上，接口不变、原生 PyTorch、AWS 官方容器开箱即用。想在 GPU 之外降推理成本或统一训练推理硬件的团队可以试试这条路。
#推理部署
共 30 条 · 7 天 7 条 · 30 天 18 条
信息流里打上「推理部署」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月13日
SGLang-Neuron 发布：SGLang 工作流可在 AWS Trainium 上运行
AWS 把 SGLang 搬上了自家 Trainium 芯片，服务器和 API 都不用改，RL rollout 也能跑。在 AWS 上做强化学习训练的团队可以看看，能省下抢 GPU 的麻烦。
You.com、NVIDIA 与 CoreWeave 直播演示 RL 权重热加载部署方案
做 RL 训练部署的工程师值得看这场直播：You.com、NVIDIA 和 CoreWeave 会现场演示用 Dynamo 在不中断服务的情况下热加载新权重，还公开了 HGX B200 上的实测数据和成本。想搭 on-policy RL 生产管线的团队可以直接抄方案。
11月11日
vLLM 搭配 LibTorch Stable ABI，PyTorch 升级不再需要重新编译
vLLM 用 PyTorch 的 LibTorch Stable ABI 解掉了版本强绑定，升级 torch 不用重编 vLLM。自己维护推理服务、经常被构建拖累的同学可以看看他们的迁移博客，思路能直接抄。
11月10日
AI 低延迟需求增长，城市内边缘数据中心角色受关注
这篇讲的是数据中心怎么摆位置的问题：训练放郊区，推理搬进市中心来压低延迟。做实时 AI 应用或者关心东南亚机房布局的人可以看看，思路和 AWS Local Zones 这类边缘方案是相通的。
Shopify 在 PyTorchCon 上分享 Flywheel 持续学习系统
Shopify 在 PyTorchCon 上公开了他们的 Flywheel 系统，用 PyTorch 和 vLLM 把线上失败案例变成再训练数据，以比调用前沿模型便宜的成本做到更准。自己部署过模型的团队应该看看，比单纯堆 API 有参考价值。
11月7日
Baseten 将在 AIE CODE 分享自托管推理工作流
用 Cursor 这类工具又想跑自己的开源模型？Baseten 的人教你把推理搬到自己的机器上，11 月 10 日旧金山见。
11月6日
PyTorch Conference 2026 主旨演讲：开源是 AI 加速的核心驱动力
PyTorch 大会开场演讲，把开源讲成 AI 提速的关键，讲的是任意芯片任意云都能跑模型这套生态，看录像能了解工具链走向。
11月5日
阿里云灵骏真武 M890 SuperPOD 首日适配 Kimi K3.1 Pro
阿里云的灵骏 M890 SuperPOD 在 Kimi K3.1 Pro 发布当天就能跑这个 2.8T 参数的模型，用 vLLM 和 SGLang 部署，要自建推理集群的可以看看这套方案。
华为昇腾 0 Day 适配 Kimi K3.1 Pro 推理部署
Kimi K3.1 Pro 发布当天昇腾就能跑推理了，2.8 万亿参数、百万上下文，用 vLLM Ascend 或 SGLang 可直接部署。
IT之家原文
10月23日
MiniMax M3.1 Flash 在 vLLM 上规模化部署运行
MiniMax 新的 M3.1 Flash 已经有人在生产环境规模化跑了，还带 SLA，优化代码直接回馈 vLLM，部署的同学可以关注。
10月21日
PyTorchCon Demo Theater 展出 14 场厂商演示，涵盖推理、编译器与部署
PyTorchCon 下午还有 IBM、Modal、Red Hat 等 5 场演示，从 vLLM 集成到量化实测，日程表可以直接查。
PyTorch 基金会发布开源 AI 软件栈路线图
PyTorch 基金会想让你在任意芯片、任意云上都能跑模型，旗下六个项目贡献者一年涨到 2.4 倍，开源栈的野心不小。
PyTorchCon 2026：IBM、Google Cloud、Red Hat 联合演示 llm-d 生产级推理
IBM、Google、Red Hat 三家在 PyTorchCon 现场跑 llm-d 推理演示，做推理部署的可以看看这套开源方案
vLLM 推出 TorchTPU 后端，让 Google Cloud TPU 更易用
用 vLLM 的朋友注意：TPU 现在有官方后端了，Pallas kernels 和多机并行都开源，贡献者还能白嫖免费 TPU 算力。
10月20日
llm.d 1.0 发布，CoreWeave 作为创始成员支持开源推理生态
CoreWeave 参与的 llm.d 出 1.0 了，做大规模推理部署的可以看看这个开源项目。
10月19日
vLLM 预编译字节码优化，启动时间缩短 14–18%
vLLM 用 uv 加个编译参数，把启动提速 14–18%，H100 上省 18 秒，v0.32.0 官方镜像直接可用。
10月16日
第四范式与瑞莱智慧开源 ModelSphere 异构大模型推理平台
第四范式和瑞莱智慧把自家的 LLM 推理平台按 Apache 2.0 开源了，一套框架能跑昇腾、摩尔线程、海光这些国产芯片，做推理部署的可以看看。
10月14日
10月13日
Intel Xe3P 架构 GPU D 系列获 vLLM 支持
Intel 新的 GPU D 系列现在能跑 vLLM 了，部署开源模型又多了一种非 NVIDIA 的硬件选择。
llm-d 将在 PyTorch Conference North America 发布新进展
IBM 背书的 llm-d 开源项目一年后升级，管推理扩容还支持多租户和零停机，10 月 San Jose 大会公布新消息，做推理部署的可以关注。
10月4日
Cohere 发布 vLLM 线上活动报名链接
Cohere 挂了个 vLLM 主题的线上活动报名页，链接是 luma.com/vllm-y009，做推理部署的可以去看看议程。
9月28日
PyTorch Conference 议程：用 PyTorch 与 vLLM 搭建企业级智能体推理
Red Hat 的人在 PyTorch Conference 讲怎么用 vLLM 把智能体推理跑到 7x24 企业级，聊 KV cache、并发这些真问题，做后端的可以看看。
9月26日
vLLM 推出弹性专家并行，可在运行中增减 GPU
vLLM 的 MoE 服务现在能在线加减 GPU 不停机，NVIDIA 的人在 PyTorch 大会上讲实现细节，做推理部署的别错过。
8月7日
Amazon SageMaker Python SDK v3新增LLM推理推荐
AWS把LLM优化搬进了SageMaker的notebook，跑完基准测试直接给你部署建议，不用再手动调参了。
7月28日
Vercel AI Gateway 区域推理上线，请求可锁定美国或欧盟
Vercel 给 AI Gateway 加了区域推理，一个参数就能把请求锁在美国或欧盟，所有模型通用，省心又合规。
7月20日
HuggingFace 本周二分享本地 AI：从硬件到软件详解
想自己跑大模型？HuggingFace 这场活动从硬件配到模型压缩全讲，还有现场演示，别错过。
6月12日
GLM-5 大规模部署中的 Scaling Pain 调试与优化
大模型从实验到生产，Scaling Pain 是绕不过的坎。做推理部署的工程师，这篇博客里的 KV Cache 竞态和 HiCache 同步问题很可能你也会遇到，建议直接收藏。
5月30日
5月29日
