中国电信开源 Xing4.0-29B-A4B：昇腾端到端训练的 Agentic MoE 模型
中国电信开源了个 29B 的 MoE 模型，只激活 4B 参数、支持 256K 上下文，全程在昇腾芯片上训练，权重挂在 Hugging Face 和 ModelScope 上可以直接下载。
中国电信开源了个 29B 的 MoE 模型，只激活 4B 参数、支持 256K 上下文，全程在昇腾芯片上训练，权重挂在 Hugging Face 和 ModelScope 上可以直接下载。
对于在昇腾NPU上训练大规模MoE模型的团队，HyperParallel-MoE通过细粒度异构调度解决了通信与计算重叠不足的痛点，实测延迟降低1.58倍，值得关注并尝试集成到现有框架中。