主要来源IT之家
查看原文事件专题 ·多源确认
英伟达解析 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍
英伟达 11 月 5 日发布技术解读，称大模型参数、上下文长度和智能体应用让 GPU 显存承压，HBM 供应趋紧。其方案是全栈协同设计：NVFP4 低精度格式压缩权重和 KV 缓存，NVL72 系统将权重分散至最多 72 颗 GPU，Vera CPU 的 LPDDR 内存缓冲暂停上下文，Dynamo 软件把不活跃上下文迁至 CMX 存储。援引 SemiAnalysis AgentX 基准，Vera Rubin NVL72 在每用户每秒 125 token 条件下，相较 GB300 NVL72 每美元智能体吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。
当前结论
英伟达讲了怎么不靠堆 HBM 撑起智能体内存需求，用 NVFP4 加 Dynamo 把每美元吞吐量拉到 30 倍，做推理部署的可以细看。
11 个信源71° AI 热度最后更新 2026/11/5 23:30:40
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。