主要来源elvis
查看原文事件专题 ·多源确认
AMD MI355X 上跑出 1,129 tok/s:sciforium 分享 DeepSeek-V4.1-Flash 推测解码实践
sciforium 在 4 张 AMD MI355X GPU 上将 DeepSeek-V4.1-Flash 的输出速度做到 1,129 tok/s(P90),且使用的是未经改动的原始权重,基于真实生产流量而非测试环境。核心做法在推测解码的 drafter:团队用客户流量对 drafter 做微调,让更长的草拟 token 序列能在验证环节存活,最终让 7-token 草拟长度变得划算。文章还公开了哪些优化手段没有奏效,这类负结果在工程分享中较少见。此前外界曾质疑 AMD GPU 的推理性能是否跟得上,这次纪录是在 AMD 硬件上以生产流量跑出来的,对关心非 NVIDIA 推理栈的工程团队有直接参考价值。
当前结论
sciforium 用客户流量微调推测解码的 drafter,让 7-token 草拟通过验证,DeepSeek-V4.1-Flash 在 4 张 AMD MI355X 上跑到 1,129 tok/s,权重还是原版没动过。做推理优化的工程师值得看,他们连失败的尝试都写出来了。
11 个信源46° AI 热度最后更新 2026/11/17 19:56:16
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。