Epoch AI 推出推理性能指数 IPI：GB300 对 H100 的推理优势被低估 10 倍

Epoch AI 发布了新指标 Inference Performance Index（IPI），指出仅看 FLOP/s 会低估 GB300 相对 H100 的推理优势达 10 倍。传统芯片对比方法只计算算力峰值，遗漏了实际推理负载中最关键的因素。 IPI 把内存带宽和芯片间通信纳入考量，这两个因素决定了在给定输出速度下，一块芯片能同时支撑多少用户或智能体请求。该方法以 GB300 等效分数作为统一刻度，让不同芯片可以直接横向比较。 用这种统一分数，开发者可以估算一个数据中心乃至全球的总推理容量，企业采购 GPU 时也有了比 FLOP/s 更贴近实际推理负载的参考标准。