自动调优器优化强化学习全流程，训练提速最高 4.93 倍
如果你在跑 RL 训练，这条值得点进去：同一套 DeepSeek 配置，40 卡跑赢了原来 56 卡的速度，单步训练从 10.7 分钟压到 7.9 分钟。省下的 GPU 都是钱，做训练的工程团队可以直接对照自己的 pipeline 试。
#训练优化
共 15 条 · 7 天 1 条 · 30 天 5 条
信息流里打上「训练优化」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月11日
11月3日
Sonar-MoE：在反向传播中更新专家参数，降低 MoE 训练显存
论文讲了个省显存的训练技巧：专家参数反向传播时就地更新，微调 OLMoE 这类 MoE 模型显存省约两成，速度还更快。
10月27日
论文10:30
UTA 学习率衰减方法发布，适配 Adam 型优化器训练模型调学习率衰减的可以看看，UTA 比固定衰减曲线更聪明，能跟着训练状态走，LLaMA 和 ResNet 上都验证了，直接即插即用。
10月22日
Mark Saroufim 在 PyTorchCon 2026 讲解优化器背后的线性代数核
Mark 在 PyTorchCon 上拆了优化器的线性代数内核，讲清楚为什么训练步数少不等于快，做训练优化的可以看。
10月20日
RAFT：面向时序图神经网络训练的冗余输入过滤框架
训练 TGNN 太慢的可以看这篇：靠跟踪节点记忆变化提前过滤冗余事件，输入少砍九成七，时间省一半，精度基本不掉。
9月28日
arXiv 论文解析 Direct Feedback Alignment 训练停滞的共模崩塌机制
用 DFA 训网络总卡在常量预测器？这篇论文把根因拆到共模误差和 tanh 饱和，还给了减批量均值这种直接可用的修复办法。
9月15日
一种新方法让大语言模型训练提速 37%，减少 34% 训练时间
朋友A对朋友B说：刚看到个挺有意思的论文，叫MoARa，是DeepSeek团队搞的，专门针对大语言模型训练优化，能让训练速度提升37%，时间缩短34%，挺实用的。
8月5日
行业10:51
AI Engineer World's Fair 2026后训练与中期训练专场开播AI Engineer 大会的后训练专场正在直播，讲训练怎么决定模型行为，TypeSafe、Hugging Face、MiniMax 都有人讲。
MoK 在 Cursor 支撑数万 GPU 训练，吞吐提升至 1.41 倍
Cursor 说 MoK 已在数万 GPU 上跑生产，比旧 DeepEP 栈端到端快 1.41 倍，搞大规模训练的可以看。
8月4日
论文11:32
CMuon：基于分块动量正交化加速并稳定Diffusion Transformer训练写了个新优化器CMuon，训练扩散Transformer比AdamW快两倍多，675M模型200轮就跑到FID 1.18，厉害得很。
7月22日
Gigatoken让训练前tokenization不再等待，速度提升数量级
Gigatoken解决了tokenization的瓶颈，训练前不用再傻等，速度提升非常明显。
7月11日
DeepSeek-V4 Flash RL 在 AMD MI355X 上完成端到端训练
DeepSeek-V4 Flash RL 在 AMD 显卡上跑通了，训练结果还不错，AIME 分数涨了一截。想试试 AMD 平台搞 RL 训练可以看看这篇。
6月29日
6月26日
使用NVIDIA Blackwell优化Amazon SageMaker AI模型训练
AWS发了篇实战教程，教你用NVIDIA Blackwell在SageMaker上调优训练，从选精度到调batch size都讲清了，搞大模型训练的人别错过。
5月14日
杨植麟40分钟视频拆解Kimi K2训练：460万美元颠覆大厂烧钱逻辑
杨植麟用460万美元和极致架构打脸烧钱竞赛，做AI代理或准备2026年入场的团队，看完会重新思考资源分配策略——建议存下来周末细看。
