事件专题 ·多源确认

NVIDIA 提出自适应 Megakernel 方案,Nemotron 3.5 Transcribe 推理吞吐最高达 6367 倍实时

NVIDIA 发布面向 Nemotron 3.5 Transcribe(Hugging Face Open ASR 开源模型榜第一)的高吞吐推理引擎。在 H100 SXM GPU 上,精度无损的推理吞吐峰值达 4,345 倍实时,为调优后 vLLM 峰值的 1.39 倍;B200 上峰值达 6,367 倍实时,在最高并发下为 vLLM 的 1.64 倍,WER 保持在 1.91-1.93%,与 vLLM 的 1.88-1.93% 基本持平。 技术上,连续批处理会在每次迭代改变工作负载的规模与构成,单一融合粒度无法一直最优。该引擎针对每个 pass 在离线测得的交叉点处选择持久化 megakernel 或融合 kernel 链:128 并发时比始终用 megakernel 高 23% 吞吐,8 并发时比始终用融合 kernel 高 9%;在 400 ms p95 端到端时延预算内可服务的并发请求数是 vLLM 的 8 倍。B200 上还可开启贪心 MoE 层跳过,对离线任务额外提升 13-16% 吞吐,代价是 WER 略升。 对部署语音转写服务的企业与推理工程师,这套 per-pass 切换思路可直接迁移到其他生成式模型的 serving 优化。

当前结论

NVIDIA 给自家 Nemotron 3.5 Transcribe 换了个自适应推理引擎,每个 pass 自动在 megakernel 和融合 kernel 之间切换,B200 上跑到 6367 倍实时,比 vLLM 快 64%。做语音转写或推理优化的人都该看看这套 per-pass 切换的思路。

11 个信源47° AI 热度最后更新 2026/11/15 16:14:14

证据链

11 个信源
相关来源 2Artificial Analysis
查看原文
相关来源 9LMSYS Org (SGLang)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。