#推理部署

共 13 条 · 7 天 4 条 · 30 天 7 条

vLLM 5 PyTorch 3 开源模型 3 Intel 2 AI Gateway 1 Amazon SageMaker 1 AWS 1 Cohere 1

信息流里打上「推理部署」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月16日

产品 Agent 与开发者官方一手15:48

第四范式与瑞莱智慧开源 ModelSphere 异构大模型推理平台

第四范式和瑞莱智慧把自家的 LLM 推理平台按 Apache 2.0 开源了，一套框架能跑昇腾、摩尔线程、海光这些国产芯片，做推理部署的可以看看。

#ModelSphere #第四范式 #瑞莱智慧 #开源模型

官方一手pandaily@[email protected] (Pandaily)2 个信源在谈原文

10月14日

产品 Agent 与开发者多源确认精选23:48

英特尔推出推理微服务：自动检测至强硬件并应用 vLLM 调优参数

在旧至强服务器上跑大模型不用再手动调参了，英特尔把 vLLM 调优封装进容器，选好模型就能直接起服务。

#Intel #vLLM #Kubernetes #至强

IT之家11 个信源在谈原文

10月13日

产品 Agent 与开发者多源确认11:10

Intel Xe3P 架构 GPU D 系列获 vLLM 支持

Intel 新的 GPU D 系列现在能跑 vLLM 了，部署开源模型又多了一种非 NVIDIA 的硬件选择。

#vLLM #Intel #PyTorch #开源模型

官方账号vLLM@vllm_project11 个信源在谈原文

产品 Agent 与开发者精选04:26

llm-d 将在 PyTorch Conference North America 发布新进展

IBM 背书的 llm-d 开源项目一年后升级，管推理扩容还支持多租户和零停机，10 月 San Jose 大会公布新消息，做推理部署的可以关注。

#llm-d #PyTorch #IBM #开源模型

官方账号PyTorch@PyTorch原文

10月4日

行业 Agent 与开发者02:21

Cohere 发布 vLLM 线上活动报名链接

Cohere 挂了个 vLLM 主题的线上活动报名页，链接是 luma.com/vllm-y009，做推理部署的可以去看看议程。

#Cohere #vLLM #推理部署

官方账号Cohere@cohere原文

9月28日

技巧 Agent 与开发者精选73°00:57

PyTorch Conference 议程：用 PyTorch 与 vLLM 搭建企业级智能体推理

Red Hat 的人在 PyTorch Conference 讲怎么用 vLLM 把智能体推理跑到 7x24 企业级，聊 KV cache、并发这些真问题，做后端的可以看看。

#PyTorch #vLLM #Red Hat #推理部署

官方账号PyTorch@PyTorch原文

9月26日

技巧 Agent 与开发者精选76°15:03

vLLM 推出弹性专家并行，可在运行中增减 GPU

vLLM 的 MoE 服务现在能在线加减 GPU 不停机，NVIDIA 的人在 PyTorch 大会上讲实现细节，做推理部署的别错过。

#vLLM #NVIDIA #MoE #推理部署

官方账号PyTorch@PyTorch2 个信源在谈原文

8月7日

产品 Agent 与开发者官方一手00:33

Amazon SageMaker Python SDK v3新增LLM推理推荐

AWS把LLM优化搬进了SageMaker的notebook，跑完基准测试直接给你部署建议，不用再手动调参了。

#Amazon SageMaker #Python SDK #AWS #LLM优化

官方一手AWS Machine Learning Blog@Dan Ferguson原文

7月28日

产品政策与合规精选06:28

Vercel AI Gateway 区域推理上线，请求可锁定美国或欧盟

Vercel 给 AI Gateway 加了区域推理，一个参数就能把请求锁在美国或欧盟，所有模型通用，省心又合规。

#Vercel #AI Gateway #区域推理 #推理部署

Guillermo Rauch@rauchg原文

7月20日

技巧 Agent 与开发者01:06

HuggingFace 本周二分享本地 AI：从硬件到软件详解

想自己跑大模型？HuggingFace 这场活动从硬件配到模型压缩全讲，还有现场演示，别错过。

#HuggingFace #本地部署 #推理部署 #模型压缩

官方账号Hugging Face@huggingface原文

6月12日

行业精选13:22

GLM-5 大规模部署中的 Scaling Pain 调试与优化

大模型从实验到生产，Scaling Pain 是绕不过的坎。做推理部署的工程师，这篇博客里的 KV Cache 竞态和 HiCache 同步问题很可能你也会遇到，建议直接收藏。

#GLM-5 #Scaling Pain #推理部署 #KV Cache

官方账号Z.ai (智谱国际)@Zai_org原文

5月30日

黄仁勋称Fireworks为“AI工厂的台积电”

黄仁勋的比喻点明了AI基础设施服务正在成为新产业链的关键环节，做AI部署和推理优化的团队值得关注Fireworks的模式。

#英伟达 #Fireworks #AI基础设施 #GTC 2026

Fireworks AI@FireworksAI_HQ原文

5月29日

技巧 Agent 与开发者精选08:37

NVIDIA发布在GPU上运行Step 3.7 Flash的指南

教你部署Step 3.7 Flash

#Step 3.7 Flash #NVIDIA #GPU部署 #推理部署

官方账号NVIDIA AI@NVIDIAAI2 个信源在谈原文