InfraRSI 用递归自我改进把 LLM 训练 MFU 从 17.4% 提到 30.0%
让编程智能体去加速 LLM 训练很容易做出假提速,这篇论文的做法是把 workload、loss、计时先用契约锁死再动手改代码。MFU 从 17.4% 提到 30.0%,最高 2.75 倍加速。做训练 infra 或跑大模型集群的工程师很值得细看。
让编程智能体去加速 LLM 训练很容易做出假提速,这篇论文的做法是把 workload、loss、计时先用契约锁死再动手改代码。MFU 从 17.4% 提到 30.0%,最高 2.75 倍加速。做训练 infra 或跑大模型集群的工程师很值得细看。