Epoch AI 推出推理性能指数 IPI：GB300 对 H100 的推理优势被低估 10 倍
Epoch AI 搞了个新指标 IPI，把内存带宽和芯片通信也算进去，发现 GB300 推理比 H100 强 10 倍不止。买卡、估推理容量的人可以拿这套分数当参考。
#推理性能
共 15 条 · 7 天 2 条 · 30 天 5 条
信息流里打上「推理性能」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月10日
11月7日
DeepSeek V4.1 Flash 在 GB300 NVL72 上推理速度提升至 1.5 倍
DeepSeek V4.1 Flash 在 GB300 上一个月内单智能体速度从 596 涨到 848 tok/s，文章拆了 vLLM、FlashInfer 等具体优化手段，做部署的可以看看
10月22日
NVIDIA HGX Rubin NVL8 将登陆 CoreWeave 云平台
CoreWeave 本季度要上 NVIDIA 的 Rubin NVL8 了，HBM4 能装下百万 token 上下文，跑智能体的吞吐是 B200 的 10 倍，做 Agent 服务可以盯一下。
10月21日
DeepSeek V4.1F 在 Ascend 950DT 与 GB200 上的推理吞吐对比
DeepSeek V4.1F 跑在华为 950DT 上比 GB200 慢 5 到 7 倍，这篇拆解算了芯片单价和优化空间，推理党值得看看这笔账怎么算的。
10月17日
华为 CloudMatrix 推理栈以 DeepSeek 为默认参照展示 V4.1 Flash
华为用 DeepSeek 当参照秀自家算力：2 机柜就能训练，273K tok/s，不过序列长度和适用场景都有局限，看看具体数据。
10月4日
DeepSeek V4-Flash 单 GPU 吞吐量对比引争议：72 TPS 仅为其三分之一
有人实测推理只有 72 TPS，对比 DeepSeek V4-Flash 在 DSpark 报告里的单 GPU 成绩直接少了三分之二，评论里讨论了 TileLang 内核和 npugraph_ex 还能优化多少。
10月1日
Cognition完成NVIDIA Vera Rubin NVL72基准测试
Cognition测出Vera Rubin比GB200快近5倍，能同时运行更多Devin会话，成本还更低。
9月30日
AA-AgentPerf-Local开源本地AI模型推理测试工具
Artificial Analysis开源了本地AI模型测试工具AA-AgentPerf-Local，能帮你评估笔记本和工作站上智能体AI的运行速度，支持多种硬件和模型。
9月20日
Claude 优化 30+ 开源生物分子模型推理性能
Anthropic 的 Claude 优化了 30 多个开源生物分子模型，平均推理速度提升 4 倍，还把代码开源了，比之前快多了。
9月15日
DeepSeek-V4-Flash 在 AMD GPU 上实现 74.5 tok/s 解码性能
DeepSeek 的工程师们优化了他们的 V4-Flash 模型，让它跑在 AMD 的 GPU 上更快了，解码速度提升明显。
8月7日
DeepSeek V4 Flash 家用部署实测：单机峰值 1875 tok/s
有人晒了 DeepSeek V4 Flash 在 DGX Station 上的实测数据，单机每秒能跑 1875 个 token，128k 上下文首字只要 5 秒，你可以拿这个数去衡量本地部署值不值。
8月2日
Hermes Agent自动部署DeepSeek v4 Flash，双DGX Sparks单流82 tok/s
Hermes agent看了条帖子就自动部署好DeepSeek v4 Flash，双DGX Sparks跑出82 tok/s，省人力还快。
7月3日
6月12日
DeepSeek 推理性能分析：GB200 NVL72、Blackwell、AMD MI355X 及华为 44 天追踪
这份 44 天的性能追踪数据对做 AI 推理部署的团队很有价值，能直观对比 NVIDIA、AMD 和华为硬件的实际表现，建议点开看具体趋势。
6月4日
行业01:46
MSBuild Day 2：Fireworks AI 展示定制化推理与规模化部署Fireworks AI 的演示直击 AI 落地的核心痛点——定制化和推理性能，做 AI 工程化的团队值得一看，能学到如何把模型从实验推到生产级规模。
