mixture-of-experts

Mixture-of-experts（MoE）是一种神经网络架构，通过将模型分解为多个专业子网络并在推理时仅激活部分专家，实现计算效率与模型容量的平衡。近期，MoE技术在大模型领域持续发展，多家机构推出了基于MoE架构的创新模型和优化方法。

MoE 近期进展

2023年9月，中国电信开源了Xing4.0-29B-A4B模型，这是首个基于昇腾端到端训练的Agentic MoE模型，标志着国内在MoE技术领域的重大突破。中国电信开源 Xing4.0-29B-A4B：昇腾端到端训练的 Agentic MoE 模型

Qualcomm近期发布了两款新型手机芯片，特别强调端侧AI运行能力，暗示MoE架构可能在移动设备上实现更高效的本地AI推理。Qualcomm 发布两款手机芯片，强调端侧 AI 运行能力

研究人员提出了MECAIL，一种仅14.6 KB大小的专家网络，使交通边缘设备能够执行目标检测增量学习，大幅降低了MoE在边缘计算中的应用门槛。MECAIL：14.6 KB专家网络让交通边缘设备做目标检测增量学习

针对MoE模型的优化方法不断涌现，包括PARSER压缩技术和Q-Strata混合精度量化方法，这些技术旨在解决MoE模型部署面临的计算资源挑战。PARSER压缩MoE大模型新方法

MoE技术目前面临的主要挑战是如何平衡模型性能与计算效率。研究表明，混合专家模型在重复数据训练中更容易过拟合，这提示我们需要更有效的训练策略。混合专家模型在重复数据训练中更容易过拟合

同时，有研究指出MoE模型中三种常见推理优化方法会失效，这表明当前MoE推理优化技术仍需进一步完善。MoE模型中三种推理优化为何失效

未来，MoE技术可能朝着无限参数架构发展，如研究提出的可实时生成权重以适应新数据的无限参数LLM架构，这将使MoE模型能够更灵活地应对不同场景的需求。提出无限参数LLM架构，可实时生成权重适应新数据