vLLM 团队实现 Kimi K3 在 NVIDIA GB300 NVL72 上 842 tokens/s 解码
vLLM 和 NVIDIA 把 Kimi K3 推理速度干到了单批 842 tokens/s，还公开了完整 kernel 实现和评测细节，做推理优化的可以细看。
#vLLM
共 184 条 · 7 天 42 条 · 30 天 97 条
信息流里打上「vLLM」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月18日
10月17日
vLLM 团队庆祝 DeepSeek-V4.1-Flash-1017 发布，达成 1.3B tokens/美元 TCO
vLLM 官方晒出 DeepSeek-V4.1-Flash-1017 的服务成绩：每美元 1.3B tokens，单卡 830K tok/s，跑智能体循环很省钱。
MOSS 团队开源图像生成模型 MOSS-Image，vLLM-Omni 首日支持
复旦 MOSS 团队开源了图像生成模型 MOSS-Image，vLLM-Omni 第一天就能跑，想自己部署的朋友可以直接上手了。
AMD MI355X 在 Kimi K3 推理上性能超 NVIDIA B300 24.4%
AMD 卡跑 Kimi K3 吞吐反超 NVIDIA B300 四分之一，每美元 token 还多 87%，文中还有 vLLM 瓶颈排查套路，自己搭推理服务的可以看看。
Anyscale 将在 PyTorch Conference 举办 Ray 与 vLLM 团队咖啡聚会
去 PyTorch Conference 的话可以报名这个咖啡聚会，能当面跟 Ray 和 vLLM 团队聊推理部署的实战问题。
10月16日
vLLM 从 Berkeley 学生项目成长为开源推理引擎，背后的 Inferact 融资 1.5 亿美元
两个博士生优化推理速度的副业项目，如今跑在 50 万张 GPU 上，Google 和 Meta 都在用，还融了 1.5 亿美元。
Reflection-Beam-1.0 获 vLLM Day-0 支持：501B 参数、1M 上下文
Reflection AI 的新模型 Beam-1.0 开服就能在 vLLM 上跑，501B 参数却只激活 23B，还能微调做 RL，搞部署的可以看看
Reflection-Beam-1.0 发布，vLLM 提供 Day-0 支持
vLLM 和 Reflection 合作搞的 Beam-1.0，501B 参数但每 token 只激活 23B，还能跑 1M 上下文，发布当天 vLLM 就能部署，微调工具也齐了。
Axera 发布 AX8860 边缘 AI 芯片系列：256 TOPS、最高 128 GB 内存
Axera 出了颗边缘芯片 AX8860，256 TOPS 还能多颗级联跑大模型，兼容 vLLM，做端侧部署的可以看看。
Meta 开源发布 Muse Spark Open，vLLM 支持其 RL 推理与首日部署
Meta 开源了 Muse Spark Open，训练时的 RL 推理用的就是 vLLM，发布当天就能直接在 vLLM 上跑起来。
vLLM 首日支持 Meta 开源模型 Muse Spark Open
Meta 放了个 816B 的开源模型 Muse Spark Open，支持 1M 上下文还能看图看视频，vLLM 当天就能跑，写代码的智能体场景可以试试。
Black Forest Labs 开源图像模型可经 vLLM omni 部署
Black Forest Labs 回归，用 vLLM omni 就能自己跑它的开源图像模型，不用非得走 GPT image 的闭源 API。
10月15日
RedHat_AI 为 NVIDIA Nemotron 3.5 Super VL 带来 FP8 与 DSpark 优化
vLLM 官方转发的好东西：RedHat_AI 把 FP8 和 DSpark 一起用到 Nemotron 3.5 Super VL 上，4× H100 实测吞吐和流式速度都涨，checkpoint 还开源了。
vLLM-Omni 发布 Day-0 支持新增 FLUX 3 Image Klein 图像生成
vLLM-Omni 发布当天就支持了 FLUX 3 Image Klein，BF16、FP8、NVFP4 格式都有，想自己部署图像生成的可以直接拉 Docker 镜像试。
vLLM 发布位级一致方案：让 Agent RL 训练中的 rollout 与训练完全一致
vLLM 出了个新方案，让 RL 训练时采样和训练算出来完全一致，做 Agent 强化学习的开发者可以看看省坑。
vLLM-Omni 支持 Fish Audio Drama 3 语音模型
vLLM-Omni 现在能跑 Fish Audio 的 Drama 3 了，单卡 H200 就能带 128 路并发语音流，想做语音克隆服务的可以上手试试。
Step 5 Preview 发布当天即获 vLLM 支持
StepFun 新模型 Step 5 Preview 上线当天就能在 vLLM 上跑，稀疏注意力加 MoE，Blackwell 和 Hopper 都能部署，附内核实测数据。
NVIDIA 将携 12 场演讲与 25 个海报展示亮相 PyTorch 大会
去 PyTorch 大会优先排 NVIDIA 这 12 场：FP4 训练、vLLM 弹性专家并行、WAM 都有工程师现场答疑。
10月14日
IBM 将在 PyTorchCon 2026 演讲 vLLM 与 Spyre 加速器
IBM 在 PyTorchCon 2026 上会讲 vLLM 和 PyTorch 性能调优，还能现场看 llm-d 和 Spyre 加速器的演示，做推理部署的可以关注。
Agent 流量成推理服务器特殊负载，Inferact 在 vLLM 上做前缀缓存优化
Inferact 的人在讲 Agent 请求为啥跟普通聊天不一样：每轮重发一大段相同前缀，vLLM 的前缀缓存和 KV-cache 复用才是省钱的重点。
Gemini 4 Argon 上线：Google 团队用它重构 Chrome 数百万行代码
Google 晒了三个 Argon 实战案例：重构 Chrome 600 万行代码、跑 ADK 省 40% 准备时间、Gemma 4 推理提速 2.85 倍，做法都能抄。
Anyscale 网络研讨会：用 Ray Serve 构建可扩展的分布式推理系统
Anyscale 要开讲 Ray Serve 推理系统设计了，从 KV cache 优化到 MoE 扩展都讲，还教你算自建 GPU 和 API 计费哪个便宜。
10月13日
ReplaySSM 优化 Mamba2 推理：vLLM 支持 SSM 输入缓存与 MTP
vLLM 和 NVIDIA 把 Mamba2 的解码内存开销压下来了，用 SSM 状态模型跑长文本的可以升级试试。
10月12日