NVIDIA 与 SGLang 社区合作：跨五代硬件、60+ 模型零日支持
SGLang 和 vLLM 是目前自部署大模型最常用的两个推理框架，NVIDIA 这次晒出五代硬件、60 多个模型的零日适配数据，说明对 SGLang 的工程投入是真金白银。自己搭推理服务的开发者可以关注后续 Summit 的技术分享。
#推理框架
共 25 条 · 7 天 3 条 · 30 天 16 条
信息流里打上「推理框架」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月14日
11月13日
SGLang 成立联盟，NVIDIA、AMD、Google、Meta 等 8 家公司加入
SGLang 推理框架拉了 NVIDIA、AMD、Google、Meta 等 8 家组联盟一起维护，以后新模型、新芯片的支持会更快跟进。自己搭推理服务的工程师和做私有化部署的团队应该留意它的路线图更新。
借助 AI 编程智能体，SGLang 一周内完成 IBM Spyre 适配
IBM Spyre 这种新芯片，以前接入推理框架可能要几个月，现在一个 1500 行插件加 AI 编程智能体一周搞定，吞吐还比参考实现高 3.6 倍，性能追平 vLLM。做推理部署、要挑国产或非 GPU 硬件的团队，这篇技术拆解值得仔细看。
11月6日
vLLM 在 GitHub Octoverse 报告社区活跃度开源仓库中排名第二
推理框架 vLLM 在 GitHub 年度报告里社区活跃度排到了第二，贡献者增速排第八，用它的开发者可以看看这份榜单。
11月4日
vLLM v0.33.0 发布：新增 4 个模型支持与 GB300 解码优化
vLLM 又发新版了，这版支持 Step-5 Preview 等 4 个新模型，GB300 上解码快了最多 2 倍，自建推理服务的可以升级看看。
10月21日
只用 vLLM 就能复现 DeepSeek 的性能表现
想自己部署 DeepSeek 又嫌折腾的朋友看看，作者说 vLLM 一个工具就够了，不用堆一堆组件。
DeepSeek 开源推理框架 DeepInfer，支持 V4.1 Flash 与昇腾 950
DeepSeek 把自家生产环境用的推理框架开源了，昇腾 950 也能跑，部署推理的可以看看 README 里的优化实现。
SuperTechFans原文
10月20日
DeepSeek 开源推理框架 DeepInfer，Apache 2.0 协议发布
DeepSeek 把自家跑 V4.1-Flash 的推理框架开源了，Apache 2.0 随便商用，还同时支持英伟达和昇腾，做部署的可以看看。
DeepSeek 开源内部推理框架 DeepInfer 及生产级编解码组件
DeepSeek 把自家跑 V4.1-Flash 的生产推理栈开源了，Apache 2.0 随便用，做私有化部署和算力成本核算的团队值得看看源码。
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 把跑 V4.1 Flash 的自家推理框架 DeepInfer 开源了，支持推测解码，还能跑昇腾，自建推理服务的可以看看。
DeepSeek 完全开源内部推理框架 DeepInfer
DeepSeek 把自家跑 V4.1 Flash 的推理框架 DeepInfer 开源了，支持英伟达和昇腾双平台，自建部署的朋友可以直接拿去用。
vLLM 等团队推进后，Google TPU 推理能力被重新审视
vLLM 把 TPU 推理跑通了，Google 自家芯片可能真要卖给外面的公司了。
10月17日
Anyscale 将在 PyTorch Conference 举办 Ray 与 vLLM 团队咖啡聚会
去 PyTorch Conference 的话可以报名这个咖啡聚会，能当面跟 Ray 和 vLLM 团队聊推理部署的实战问题。
10月16日
vLLM 与 Meta 合作视频引社区讨论
vLLM 和 Meta 搞了个合作视频，作者还在收反馈，做推理部署的可以看看顺便提意见。
10月14日
Chainguard 发现 vLLM 安全漏洞并负责任披露
vLLM 被爆出安全漏洞，Chainguard 负责地报告了。自己部署推理服务的记得升级。
10月8日
vLLM-Omni 技术报告发布：统一多模态生成服务运行时
vLLM 出了个统一运行时，把语音、图像扩散、世界模型、机器人回环这些异构请求塞进一套服务框架，做全模态应用的可以看看
10月4日
vLLM 10月15日在多伦多举办线下 Meetup，Cohere 与 NVIDIA 联合主办
用 vLLM 做推理部署的话可以关注，能听到官方讲后续规划，还能直接和团队聊，多伦多附近又免费，挺难得。
9月26日
谷歌TPU跑Kimi比英伟达GPU快57%，底层用的是DeepSeek推理框架
vLLM那帮人创业后干的活：把Kimi K2塞进谷歌TPU，速度比英伟达GPU还快57%，框架还是DeepSeek开源的，搞推理的可以看看细节。
7月29日
论文11:14
ClinPRISM: A Cost-Effective Multimodal LLM Framework for Clinical Time-Series QA这论文搞了个ClinPRISM框架，专门搞定不规则时间序列的医疗问答，只用16个token和0.15秒回答一个问题，比现有大模型省资源还更准。
6月28日
Liquid AI 发布 LFM2.5-230M 模型，支持多种推理框架用于设备端推理
Liquid AI 出了个超小模型 LFM2.5-230M，手机跑 213 tokens 每秒，树莓派也能跑 42，指令遵循还比 Qwen3.5-0.8B 和 Gemma 3 1B 强。
6月13日
6月11日
ChargeBD：电池研发的异构智能体推理框架
电池研发团队终于有了一个能处理多目标权衡的 AI 框架——ChargeBD 用 MBTI 人格智能体模拟不同研发角色的认知偏好，做能源材料或系统优化的研究者可以直接参考其方法。
6月4日
Gemma 3 发布：兼容主流推理框架，权重已开放下载
Google 终于把 Gemma 3 的兼容性做全了——主流推理框架全覆盖，做本地部署或模型微调的开发者可以直接去 Hugging Face 下载权重，省去适配烦恼。
