#vLLM

共 184 条 · 7 天 42 条 · 30 天 97 条

开源模型 41 推理优化 18 NVIDIA 12 PyTorch 12 推理模型 12 智能体 12 MoE 9 多模态 9

9月29日

模型 Agent 与开发者精选14:47

IQuest-Q1 发布：320B MoE 编程模型，vLLM 首日支持

IQuest 新出的 320B 编程模型 IQuest-Q1，vLLM 首日就能跑，上下文到 52 万 token，想本地部署智能体编程的可以看看。

#IQuest-Q1 #vLLM #MoE #编程助手

官方账号vLLM@vllm_project原文

论文 Agent 与开发者13:49

TempoKV：让 LLM KV 缓存调度更省内存的分层方案

vLLM 和 LMCache 里能直接用的 KV 缓存调度优化，快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉，还把 p95 首 token 时间降了 48%。

#TempoKV #vLLM #LMCache #KV缓存

arXiv cs.AI@Jay H. Park 等 3 人原文

9月28日

技巧 Agent 与开发者精选17:07

AI21 Labs 公开 AI Engineer World's Fair 两场演讲：分块策略与 vLLM 调试

AI21 Labs 放出了两场演讲视频，一场讲 RAG 分块该更新打法了，一场用破案的方式带你排查 vLLM 问题，做工程的朋友可以看看。

#AI21 Labs #vLLM #RAG #提示词工程

官方账号AI21 Labs@AI21Labs原文

论文 Agent 与开发者10:56

DeepEdu-v1：面向越南教育的智能体教学系统

越南团队把开源模型改造成能跑在消费级 GPU 上的教学助手，检索调用少了 7.7 倍，准确率还从 70% 涨到 79.5%，做本地部署的可以看看。

#DeepEdu-v1 #vLLM #开源模型 #RAG

arXiv cs.AI@Quang Nguyen 等 6 人原文

论文 Agent 与开发者多源确认精选10:18

EAServe 论文提出面向多模态 LLM 的 Encode 感知分离式推理服务

一篇推理系统论文，解决多模态模型 Encode 阶段拖垮 GPU 利用率的问题，goodput 比 vLLM 高 1.7 倍、比 NVIDIA Dynamo 高 4.3 倍，做 MLLM 服务的可以看看。

#EAServe #vLLM #NVIDIA Dynamo #多模态

arXiv cs.LG@Kunxiong Zhu 等 7 人6 个信源在谈原文

技巧 Agent 与开发者精选73°00:57

PyTorch Conference 议程：用 PyTorch 与 vLLM 搭建企业级智能体推理

Red Hat 的人在 PyTorch Conference 讲怎么用 vLLM 把智能体推理跑到 7x24 企业级，聊 KV cache、并发这些真问题，做后端的可以看看。

#PyTorch #vLLM #Red Hat #推理部署

官方账号PyTorch@PyTorch原文

9月26日

模型 Agent 与开发者72°17:03

谷歌TPU跑Kimi比英伟达GPU快57%，底层用的是DeepSeek推理框架

vLLM那帮人创业后干的活：把Kimi K2塞进谷歌TPU，速度比英伟达GPU还快57%，框架还是DeepSeek开源的，搞推理的可以看看细节。

#Kimi K2 #Google TPU #vLLM #DeepSeek

量子位@听雨原文

技巧 Agent 与开发者精选76°15:03

vLLM 推出弹性专家并行，可在运行中增减 GPU

vLLM 的 MoE 服务现在能在线加减 GPU 不停机，NVIDIA 的人在 PyTorch 大会上讲实现细节，做推理部署的别错过。

#vLLM #NVIDIA #MoE #推理部署

官方账号PyTorch@PyTorch2 个信源在谈原文

9月25日

技巧 Agent 与开发者精选16:33

PyTorch 大会将分享在 ARM CPU 上优化 MoE 模型推理的方法

Fujitsu 的工程师要在 PyTorch 大会讲怎么用 vLLM 和 OpenVINO 在 ARM CPU 上跑 MoE 模型，做端侧部署的可以关注。

#vLLM #OpenVINO #MoE #ARM CPU

官方账号PyTorch@PyTorch原文

模型 Agent 与开发者多源确认精选09:41

vLLM 上 GLM-5.3 单用户解码达 469 tok/s

AMD 显卡跑 GLM-5.3 冲到 469 tok/s 单用户解码，vLLM 管预填、TileRT 管解码的拆分架构值得部署党细看。

#GLM-5.3 #vLLM #AMD #MI355X

官方账号vLLM@vllm_project3 个信源在谈原文

行业 Agent 与开发者00:44

vLLM 团队亮相阿里云 Apsara Conference 2026，谈开源推理与 Agent 工作负载

vLLM 的人跑去阿里云大会分享推理经验，讲的是 Agent 时代开源推理怎么演进，做推理部署的可以看看

#vLLM #阿里云 #ApsaraConference2026 #开源模型

官方账号vLLM@vllm_project原文

模型 Agent 与开发者00:43

RL-Kernel 集成 vLLM：Qwen3-8B 训练与推理 logprob 逐位一致

用 vLLM 做 RL 训练的老大难——训练和推理数值对不上，这次在 AMD MI300X 上真做到了逐位一致，做 RL 的都该看看。

#vLLM #Qwen3 #AMD MI300X #GRPO

官方账号vLLM@vllm_project原文

9月24日

行业 Agent 与开发者23:15

PyTorchCon 2026 学术开源项目征集：8 个名额可做闪电演讲

用 PyTorch 生态做学术开源的同学看过来，8 个名额、5 分钟演讲加导师答疑，9 月 30 日前提交。

#PyTorch #vLLM #DeepSpeed #开源模型

官方账号PyTorch@PyTorch原文

行业 Agent 与开发者精选23:14

阿里云 Apsara 大会：vLLM 核心维护者谈 Qwen3.8-Max 与开源 AI 演进

阿里云 Apsara 大会上，vLLM 核心维护者聊了 Qwen3.8-Max 在 Agent 任务上的表现，做开源推理的可以看看他怎么看。

#Qwen3.8-Max #Alibaba Cloud #vLLM #开源模型

官方账号阿里云 Alibaba Cloud@alibaba_cloud2 个信源在谈原文

9月23日

论文 Agent 与开发者多源确认10:22

研究显示本地部署栈会影响工具调用评测结果

这篇论文很实用：同一个模型在 Ollama 和 vLLM 上跑工具调用评测，结果可能差几十个百分点，做本地评测前建议先看它的检查清单。

#Ollama #vLLM #llama.cpp #工具调用

arXiv cs.AI@Lijuan Tang, Yuemeng Zheng3 个信源在谈原文

9月22日

论文 Agent 与开发者多源确认12:40

谁为 KV Cache 买单？unalloc 拆解共享推理成本归属

unalloc 把 Kubernetes 和 LLM API 账单拼成一本账，还量化出按 token 和按时间计费能差 12 个点。

#vLLM #Kubernetes #OpenCost #LiteLLM

arXiv: OpenAI@Timothy Urista11 个信源在谈原文

9月21日

模型 Agent 与开发者多源确认精选00:00

阿里Qwen-Image-2.1模型支持vLLM加速部署

阿里新出的Qwen-Image-2.1模型，和vLLM配合起来用，能直接生成、编辑透明图片，比单独用模型更方便。

#Qwen-Image-2.1 #vLLM #DiT #图像生成

官方账号阿里通义 Qwen@Alibaba_Qwen4 个信源在谈原文

9月18日

论文政策与合规精选10:17

前沿大模型可通过推理引擎指纹识别发起攻击

朋友间推荐：这篇论文讲的是前沿大模型（比如OpenAI、Anthropic的模型）如何通过识别推理引擎的指纹来发起攻击，挺有意思的。

#前沿大模型 #推理引擎 #攻击 #vLLM

arXiv: OpenAI@Sarah Radway 等 4 人原文

9月11日

模型中美对照官方一手精选11:15

寒武纪完成 DeepSeek-V4.1-Flash 在 vLLM 上的适配

寒武纪搞了个新东西，叫 Day-0，能让 DeepSeek-V4.1-Flash 模型直接在他们的芯片上跑，不用额外优化，挺厉害的。

#DeepSeek #vLLM #寒武纪 #推理模型

官方一手pandaily@[email protected] (Pandaily)2 个信源在谈原文

9月10日

技巧 Agent 与开发者官方一手06:37

Qwen3.8-2.4T-A95B在Amazon SageMaker HyperPod部署

阿里开源的Qwen3.8-2.4T-A95B模型现在能在AWS SageMaker HyperPod上部署了，教程详细说明了集群配置和量化方法。

#Qwen3.8-2.4T-A95B #Amazon SageMaker #vLLM #开源模型

官方一手AWS Machine Learning Blog@Dmitry Soldatkin10 个信源在谈原文

9月9日

论文 Agent 与开发者精选10:32

多租户LLM服务中KV缓存竞争可靠性研究

研究揭示了多租户环境下LLM服务KV缓存时序攻击可靠性随负载变化的规律，对实际部署安全有重要参考价值。

#KV缓存 #时序侧信道 #DeepSeek-R1-Distill-Llama-8B #vLLM

arXiv: DeepSeek@Rana Abu Bakar原文

产品 Agent 与开发者多源确认78°08:49

Cohere 开源 Megakernel 推理系统

Cohere 开源了比 vLLM 快 1.58 倍的 Megakernel 推理系统，解决了传统引擎在算子边界处的 GPU 空转问题。

#Megakernel #Cohere #North Mini Code #vLLM

shao__meng@shao__meng3 个信源在谈原文

产品 Agent 与开发者78°03:58

Cohere发布首个基于解码内核的LLM服务系统

Cohere开源了比vLLM快1.58倍的LLM服务系统，专为North Mini Code设计。

#Cohere #LLM #vLLM #开源模型

官方账号Cohere@cohere原文

模型 Agent 与开发者03:57

Cohere North Mini Code 性能测试结果

Cohere 新模型 North Mini Code 在单卡 H100 上比 vLLM 更快，推理性能提升明显。

#North Mini Code #vLLM #Cohere #推理模型

官方账号Cohere@cohere2 个信源在谈原文

9月5日

技巧 Agent 与开发者精选13:14

Perplexity优化嵌入模型推理性能

Perplexity分享嵌入模型部署技巧，用LLM优化内核实现3倍性能提升，对AI工程师很有参考价值。

#pplx-embed #BGE-M3 #vLLM #推理优化

Aravind Srinivas@AravSrinivas原文

8月30日

模型中美对照精选73°01:46

腾讯混元Hy4预览版在vLLM运行

腾讯混元Hy4预览版已适配vLLM，支持MoE和HPC-Ops内核，可直接部署使用。

#Hy4 #vLLM #腾讯混元 #MoE

Hunyuan@TXhunyuan2 个信源在谈原文

8月21日

产品 Agent 与开发者精选02:05

Awesome Gemma 资源库上线 GitHub

Google 的 Awesome Gemma 资源库上线了，里面有你想要的模型卡片、部署指南和微调教程，比自己找方便多了。

#Gemma #Google #Ollama #vLLM

Philipp Schmid@_philschmid原文

8月20日

Flama开源框架支持生产级API与LLM服务开发部署

Flama这个开源框架，能帮你开发部署生产级API和LLM服务，和普通框架比更统一架构，还能自动处理多种模型格式。

#Flama #vLLM #MLX #模型服务

arXiv: Anthropic@José A. Perdiguero López, Miguel A. Durán-Olivencia原文

8月15日

模型中美对照多源确认81°00:25

Qwen3.8-27B发布：单GPU跑1M上下文，vLLM Day-0支持

阿里发了能塞进单卡GPU的27B模型，长上下文到1M，vLLM当天就能用。适合想自己部署长上下文开源模型的开发者。

#Qwen3.8-27B #vLLM #长上下文 #开源模型

官方账号阿里通义 Qwen@Alibaba_Qwen8 个信源在谈原文

8月10日

模型中美对照精选21:45

Meta 开源 Muse Glimmer 30B，vLLM 首日支持

Meta 把 30B 多模态模型开源了，Apache 2.0，还能跑在本地，vLLM 当天就支持，想试的直接装。

#Muse Glimmer 30B #Meta #vLLM #开源模型

官方账号NVIDIA AI@NVIDIAAI原文

8月7日

行业多源确认71°08:11

Simon Mo与Matt Bornstein谈开源权重模型：成本与控制

Simon Mo是vLLM作者，他讲开源权重模型怎么在成本和控制上赢过闭源API，还吐槽专有API宕机问题，适合做线上服务的开发者。

#开源模型 #vLLM #Inferact #Kimi K3

a16z@a16z11 个信源在谈原文

Simon Mo：开源与闭源模型能力差距不大，区别在分发策略

Simon Mo说开源模型和闭源模型能力没差多少，关键看谁把模型落地做得更好，vLLM已经在50万GPU上跑了。

#vLLM #Inferact #开源模型 #Simon Mo

a16z@a16z原文

行业多源确认71°02:43

vLLM任意时刻都在50万张GPU上运行，却少有人知

vLLM同时占着50万张GPU，却是开源模型的隐身基座。听Simon Mo拆解Kimi K3和开源模型上生产的坑。

#vLLM #Inferact #Kimi K3 #开源模型

a16z@a16z11 个信源在谈原文

8月5日

SALT 框架：固定质心按需交换残差，实现高效超低秩 LoRA 服务

LoRA 服务老被显存和 PCIe 卡脖子？SALT 用 r≤2 的残差加固定质心，精度追上高秩，vLLM 吞吐最高多 51%。

#SALT #LoRA #vLLM #Llama-3.2-3B

arXiv cs.LG@Xiang Li 等 4 人原文

8月4日

论文精选72°07:42

TokTier有状态分词提升智能体服务，TTFT最高降34%

做智能体服务的朋友看下，TokTier把长记录重复分词干掉了，vLLM下首字延迟降16%-34%，省GPU。

#TokTier #vLLM #智能体 #分词

elvis@omarsar0原文

7月30日

InferScale: GPU原生KV注入实现个性化LLM服务

看完这篇论文，你就明白怎么让 LLM 在有多层记忆时不再反复重算——InferScale 直接把 KV 缓存存好，做到检索量再大 TTFT 基本不变。

#InferScale #vLLM #KV缓存 #个性化LLM

arXiv cs.LG@Peter Li, Prashant Pandey原文

7月25日

模型72°02:46

蚂蚁Ling团队发布Ling-3.0-flash，124B MoE模型激活仅5.1B参数

蚂蚁的Ling-3.0-flash参数大但激活少，256K上下文，vLLM确认后续支持，开源在即。

#Ling-3.0-flash #AntLingAGI #vLLM #MoE

官方账号vLLM@vllm_project原文

7月24日

模型精选03:07

PrimeIntellect发布 prime-rl 0.6.0：基于vLLM的万亿级Agentic RL训练

PrimeIntellect 用 vLLM 把 agentic RL 搞到万亿参数级了，FP8 加专家并行，28 个 H200 节点跑 131k 序列，每步不到 5 分钟，训练 GLM-5 做 SWE 任务。

#PrimeIntellect #prime-rl #vLLM #GLM-5

官方账号vLLM@vllm_project原文

7月23日

行业精选14:49

vLLM meetup 回归：社区齐聚讨论路线图与 agentic workloads

vLLM 社区又聚在一起了，这次聊了路线图和 agent 负载，还和 CrusoeAI、a16z 联手，挺有料的。

#vLLM #CrusoeAI #inferact #a16z

官方账号vLLM@vllm_project原文

产品多源确认精选14:21

Macaron-V1-Venti 发布：开源 MoL Harness 实现多 LoRA 路由

Macaron 搞了个好东西：把多个 LoRA 模型挂在一个接口后，自动路由，基于 vLLM 直接上线。

#Macaron-V1-Venti #MoL Harness #vLLM #LoRA

官方账号vLLM@vllm_project11 个信源在谈原文