#训练效率

共 13 条 · 7 天 1 条 · 30 天 5 条

Anvil2 1 CIPHER-MoE 1 Context-Sharded Block Parallelism 1 DeepSeek-V4-Pro 1 DeepSeek-V4-Pro-Base 1 FastRL 1 GRPO 1 Matryoshka 1

信息流里打上「训练效率」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月16日

模型中美对照多源确认01:08

Microsoft AI 称以 1/12 训练算力在代码任务上追平 DeepSeek-V4-Pro-Base

微软 AI 的 Mustafa Suleyman 说他们用少 12 倍的算力就在代码评测上追平了 DeepSeek-V4-Pro-Base，不过细节还没发，先看看数据再说。

#DeepSeek-V4-Pro-Base #Mustafa Suleyman #缩放定律 #训练效率

事件专题

Mustafa Suleyman@mustafasuleyman3 个信源在谈原文

10月6日

论文 Agent 与开发者10:33

CIPHER-MoE：万亿参数 MoE 训练负载均衡新方法

训练万亿参数 MoE 模型的负载不均问题有了新解法，DeepSeek-V4-Pro 上实测训练加速最高 1.94 倍，还不用加硬件，做训练的可以看看。

#CIPHER-MoE #DeepSeek-V4-Pro #MoE #训练效率

arXiv: DeepSeek@Jing Li 等 11 人原文

9月30日

论文 Agent 与开发者09:33

FastRL框架提升GRPO训练效率

FastRL框架能提升GRPO训练速度2倍多，准确率提升1.64%，代码已开源。

#GRPO #FastRL #强化学习 #训练效率

arXiv cs.AI@Jiahua Yang 等 10 人原文

9月29日

模型 Agent 与开发者精选14:28

NanoGPT 训练纪录刷新至 39.9 秒，Deven Pzak 引入 flop 级稀疏优化

Deven Pzak 把 NanoGPT 训练干到 39.9 秒，思路不是堆算力而是按 flop 精打细算，嵌入参数撒到 65B 还只用 124M 活跃参数，搞训练的都该看看。

#NanoGPT #Anvil2 #Muon #稀疏优化

Thomas Wolf@Thom_Wolf原文

9月19日

模型 Agent 与开发者78°04:29

斯坦福提出新并行策略提升扩散模型训练效率

斯坦福团队新提出的CSBP并行策略，能让扩散模型训练速度大幅提升，特别是长上下文场景，值得看看。

#Context-Sharded Block Parallelism #扩散模型 #并行策略 #训练效率

Stanford AI Lab@StanfordAILab原文

9月17日

模型 Agent 与开发者06:15

Unsloth 发布新版本，支持更高效训练

Unsloth 新版更快，8GB 显存就能训练 30B 模型，比旧版快 2 倍，对开发者很友好。

#Unsloth #训练效率 #微调

Paul Couvert@itsPaulAi原文

9月4日

论文精选73°11:27

大语言模型同策略蒸馏研究：单训练示例效果显著

OpenAI新研究揭示OPD只需少量数据就能接近全数据效果，算法效率比数据量更重要。

#OPD #大语言模型 #蒸馏 #状态覆盖率

arXiv cs.AI@Zixuan Fu 等 13 人原文

8月11日

论文精选11:16

Matryoshka语言模型套件：嵌套训练省36%算力

想省训练算力又不想掉性能？这个嵌套训练法把三个模型塞一个架构里，直接省36%算力，还顺带加速推理，值得一看。

#Matryoshka #语言模型 #训练效率 #投机解码

arXiv cs.AI@Nathan Godey, Yoav Artzi原文

6月12日

论文精选07:01

Untied Ulysses 让 Llama 3B 在单节点训练 3M 上下文

长上下文训练一直是显存大户，Untied Ulysses 让单节点就能跑 3M token，做 LLM 训练和推理优化的团队值得关注，能省下不少 GPU 预算。

#长上下文 #显存优化 #注意力机制 #Together AI

官方账号Together AI@togethercompute原文

5月29日

论文中美对照72°13:01

ESPO：早期停止PPO，节省20%推理token并提升数学推理性能

做LLM强化学习训练的团队终于有了一个能省算力又提效果的方法——ESPO在数学推理任务上不仅性能更好，还省了20%的token，训练成本敏感的团队值得一试。

#强化学习 #PPO #数学推理 #训练效率

arXiv: DeepSeek@Zihang Li 等 11 人原文

论文11:06

数据组织如何优化LLM训练：STR和SAW方法

数据组织是LLM训练中常被忽视的杠杆，STR和SAW方法几乎零成本就能提升训练效果，做预训练或SFT的团队值得一试。

#数据组织 #LLM训练 #STR #SAW

arXiv cs.AI@Yalun Dai 等 11 人原文

5月26日

论文精选12:20

LoopMDM：循环层提升掩码扩散语言模型效率与性能

做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。

#掩码扩散模型 #Transformer架构 #训练效率 #推理缩放

arXiv cs.LG@Sanghyun Lee 等 6 人原文

5月15日

论文精选10:01

PODS：振荡式数据量调度，让模型训练更高效

PODS解决了数据选择中“选多少”被忽视的问题，做模型训练优化的团队可以直接集成到现有方法中，无需改动评分指标，值得一试。

#数据选择 #训练效率 #正则化 #即插即用

arXiv cs.AI@Suorong Yang 等 7 人原文