vLLM 日首发支持 LFM2.5-230M，面向 agent 工作负载
vLLM 第一时间给 Liquid AI 的 LFM2.5 小模型做了适配，230M 参数跑 agent 任务，手机、机器人上都能用。
#vLLM
共 184 条 · 7 天 42 条 · 30 天 97 条
6月26日
6月25日
6月24日
vLLM 集成 DFlash 投机解码，Gemma-4 31B 吞吐量提升最高 5.8 倍
vLLM 和 NVIDIA 合作推出 DFlash 投机解码，Gemma-4 31B 推理速度提升近 6 倍，配置只需改一行 checkpoint 路径。
6月19日
Ray Serve LLM 在 GKE 上实现预填负载 4.4 倍、解码负载 24 倍吞吐量提升
Anyscale 和 Google Cloud 联手让 vLLM 推理快了好几倍，预填负载快 4.4 倍，解码负载快 24 倍，用 Ray V2 执行器就能体验。
6月18日
6月17日
vLLM 0.23.0 今日上线，支持 GLM-5.2 的 1M token 长上下文编程代理
vLLM 刚发的 0.23.0 直接支持了 GLM-5.2，这个模型有 100 万 token 上下文，适合一口气写完整个项目代码，还能跨平台部署，写代码的可以试试。
6月16日
Anyscale团队详解PD Disaggregation with Ray Serve + vLLM在AMD MI325X上测试
vLLM推荐了Anyscale的这篇实战文章，讲清楚了PD Disagg在Ray Serve加vLLM上的做法，还在AMD MI325X上测过，值得搞推理部署的人看看。
vLLM v0.23.0 发布：408 次提交，DeepSeek-V4 支持增强
vLLM v0.23.0 大更新，DeepSeek-V4 和 Llama 用户值得升级，新的 KV 缓存卸载能省显存，推理与工具调用解析也更顺了。
6月12日
MiniMax M3 发布：1M 上下文、稀疏注意力、开源模型
M3 的 1M 上下文和稀疏注意力架构解决了长文档和复杂智能体任务的性能瓶颈，做 RAG、代码分析和自动化工作流的团队可以直接在 vLLM 上部署试用。
Kimi K2.7-Code 发布：1T 参数 MoE 编程智能体模型
编程智能体模型终于有了更高效的选择——K2.7-Code 在保持 1T 参数规模的同时，将激活参数压缩到 32B，做代码生成和推理的开发者可以直接在 vLLM 上复用现有部署，值得一试。
GoogleDeepMind 发布 DiffusionGemma：26B 扩散语言模型，vLLM 原生支持
DiffusionGemma 用并行去噪替代逐 token 生成，大幅提升推理速度，做大规模文本生成或实时应用的团队可以直接在 vLLM 中体验，值得关注。
vLLM 日零支持 Cohere North Mini Code 模型
做智能体工作流和编码应用的开发者，现在可以直接用 vLLM 部署 Cohere 的 North Mini Code 模型，省去适配麻烦，建议试试。
vLLM 推出 vime：简单稳定的 LLM 后训练 RL 框架
做 LLM 后训练的团队终于有了 vLLM 生态内的 RL 框架选择——vime 简单稳定，直接可用，想尝试不同 RL 框架的开发者值得关注。
6月5日
6月4日
产品00:20
DeepLearning.AI 联合 RedHat 推出 vLLM 推理优化课程vLLM 是目前最主流的 LLM 推理框架之一，这门课直接教你量化、部署和基准测试，做模型部署或推理优化的工程师值得花时间学。
5月29日
5月28日
5月27日
5月21日
5月14日
Cohere 在 vLLM 集成 W4A8 推理：速度提升达 58%
Cohere 的 W4A8 方案解决了大模型推理中内存与速度的权衡问题，做模型部署和推理优化的团队可以直接在 vLLM 中体验，值得关注。
KVServe：服务感知的KV缓存压缩，提升分离式LLM服务通信效率
KV 通信已成为分离式 LLM 服务的瓶颈，KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队，这个框架值得关注，可以直接集成到 vLLM 中试用。
5月13日
UCSD在Google TPU实现3倍LLM推理加速：DFlash扩散式推测解码
这一工作展示了扩散式推测解码在TPU上的实际落地价值，突破传统推测解码的顺序瓶颈，尤其利好大规模LLM推理场景。开源集成至vLLM有助于行业快速采用。