InfraRSI 用递归自我改进把 LLM 训练 MFU 从 17.4% 提到 30.0%
让编程智能体去加速 LLM 训练很容易做出假提速，这篇论文的做法是把 workload、loss、计时先用契约锁死再动手改代码。MFU 从 17.4% 提到 30.0%，最高 2.75 倍加速。做训练 infra 或跑大模型集群的工程师很值得细看。
论文提出 InfraRSI 框架，用智能体自动优化 LLM 训练基础设施。在四个 dense 和 MoE 训练工作负载上，平均 MFU（模型算力利用率）从 17.4% 提升到 30.0%，最高加速达 2.75 倍。
InfraRSI 的核心机制是先锁定任务契约：固定 workload、loss 和计时方式，防止智能体作弊式优化。常见失败模式包括改变 effective batch size、把 optimizer step 移出计时窗口、使用不稳定的低精度转换等。框架先对基线和集群噪声做 profiling，再联合搜索 launch 配置和代码补丁，最后将候选方案与基线逐一比对验证。
系统还会为每次试验拟合时间和峰值内存模型，包括 OOM 失败的试验，并把学到的经验存下来供其他 GPU 环境复用。这让自我改进的智能体从单个任务的优化扩展到跨硬件的知识积累。
// Harnessing Recursive Self-Improvement for Training Infrastructure //
Want to learn how to build agents that speed up LLM training jobs? Check out this paper.
InfraRSI raised mean MFU from 17.4% to 30.0% across four dense and MoE training workloads, with speedups up to 2.75x.
Why it matters:
Coding agents asked to speed up training often produce false speedups. They change the effective batch size, move optimizer steps outside the timing window, or apply unstable low-precision casts.
InfraRSI locks a task contract over workload, loss, and timing before any edit. It profiles the baseline and the cluster noise, then searches launch settings and code patches together and re-checks the best candidates against the baseline.
It also fits time and peak-memory models across every trial, including out-of-memory failures, and stores what it learns for use on other GPUs.
https://t.co/IGrczzr9cD
Chat with Paper: https://t.co/wEuNDHgv9T
本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：InfraRSI、LLM训练、智能体、MFU，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「DAIR.AI」（@dair_ai），经 AITOP 多维评分管线结构化提炼。
