"Experts"在人工智能领域特指混合专家模型(Mixture of Experts, MoE)中的专业神经网络组件,这些组件共同协作处理输入数据的不同方面。近期,随着MoE架构在大型语言模型中的广泛应用,专家系统的优化与部署成为研究热点。
Experts 近期进展
当前焦点与观察点
专家系统的效率提升成为关注焦点,CARE方法通过自适应专家路由提升了MoE-LoRA的效率并改进了OOD检测能力。CARE:自适应专家路由提升MoE-LoRA效率与OOD检测
分布式专家推理技术也在进步,DA-MoE方法实现了自适应内核调度,优化了专家间的资源分配。分布感知MoE推理:DA-MoE自适应内核调度方法
值得注意的是,70%的企业AI部署失败被归因于使用方式不当,而非专家系统本身的问题。Hebbia CTO:70%的企业AI部署失败,原因在于使用方式
专家架构在智能体模型中也展现出潜力,35B参数的Agents-A1 MoE模型在长视野任务上媲美万亿参数模型的性能。Agents-A1:35B MoE智能体模型在长视野任务上媲美万亿参数性能