论文Agent 与开发者10:52CHARM+：跨硬件注意力机制，比 Ring-Attention 最快提速 2.9 倍训练长序列的朋友可以看看这篇：CHARM+ 把跨节点通信和计算重叠起来，双节点 NVLink 上比 Ring-Attention 快近 3 倍。#Ring-Attention#序列并行#分布式训练#长序列aarXiv cs.AI@Xinhang Zhang 等 7 人原文稍后读已读值得跟进有用关注 Ring-Attention