华为用 DeepSeek 当参照秀自家算力:2 机柜就能训练,273K tok/s,不过序列长度和适用场景都有局限,看看具体数据。
#推理性能
共 11 条 · 7 天 1 条 · 30 天 5 条
信息流里打上「推理性能」标签的资讯、产品与论文,按刊登时间排,新的在上。
10月17日
华为 CloudMatrix 推理栈以 DeepSeek 为默认参照展示 V4.1 Flash
10月4日
DeepSeek V4-Flash 单 GPU 吞吐量对比引争议:72 TPS 仅为其三分之一
有人实测推理只有 72 TPS,对比 DeepSeek V4-Flash 在 DSpark 报告里的单 GPU 成绩直接少了三分之二,评论里讨论了 TileLang 内核和 npugraph_ex 还能优化多少。
10月1日
9月30日
AA-AgentPerf-Local开源本地AI模型推理测试工具
Artificial Analysis开源了本地AI模型测试工具AA-AgentPerf-Local,能帮你评估笔记本和工作站上智能体AI的运行速度,支持多种硬件和模型。
9月20日
9月15日
DeepSeek-V4-Flash 在 AMD GPU 上实现 74.5 tok/s 解码性能
DeepSeek 的工程师们优化了他们的 V4-Flash 模型,让它跑在 AMD 的 GPU 上更快了,解码速度提升明显。
8月7日
DeepSeek V4 Flash 家用部署实测:单机峰值 1875 tok/s
有人晒了 DeepSeek V4 Flash 在 DGX Station 上的实测数据,单机每秒能跑 1875 个 token,128k 上下文首字只要 5 秒,你可以拿这个数去衡量本地部署值不值。
8月2日
Hermes Agent自动部署DeepSeek v4 Flash,双DGX Sparks单流82 tok/s
Hermes agent看了条帖子就自动部署好DeepSeek v4 Flash,双DGX Sparks跑出82 tok/s,省人力还快。
7月3日
6月12日
DeepSeek 推理性能分析:GB200 NVL72、Blackwell、AMD MI355X 及华为 44 天追踪
这份 44 天的性能追踪数据对做 AI 推理部署的团队很有价值,能直观对比 NVIDIA、AMD 和华为硬件的实际表现,建议点开看具体趋势。
6月4日
行业01:46
MSBuild Day 2:Fireworks AI 展示定制化推理与规模化部署Fireworks AI 的演示直击 AI 落地的核心痛点——定制化和推理性能,做 AI 工程化的团队值得一看,能学到如何把模型从实验推到生产级规模。