技巧精选10月10日 02:27

60GB内最佳开源MoE编程模型

What's the best open weight Mixture-of-Experts LLM for coding that fits in less than 60GB of RAM? I...

官方账号Simon Willison@simonw

推文

精选理由

寻找适合60GB RAM的开源MoE编程模型，速度需超12 tokens/秒，适合开发者实际需求。

用户询问适合编程任务的开源Mixture-of-Experts模型，要求能在60GB RAM内运行。用户需要交互速度超过12 tokens/秒。MoE架构可能对实现这一速度目标必要。该问题针对特定硬件条件下的编程模型选择。

原文 · Simon Willison

What's the best open weight Mixture-of-Experts LLM for coding that fits in less than 60GB of RAM? I...

What's the best open weight Mixture-of-Experts LLM for coding that fits in less than 60GB of RAM? I think MoE might be necessary to get reasonably interactive speeds on the hardware I have access to - I want something faster than 12 tokens/second 💬 27 🔄 0 ❤️ 36 👀 6304 📊 27 ⚡

#Mixture-of-Experts #编程模型 #开源模型 #硬件优化

继续读

同标签或同类目的最近条目

论文 Agent 与开发者12:11

提出无限参数LLM架构，可实时生成权重适应新数据

这个研究挺有意思的，作者想解决传统LLM在运行时无法学习新知识的问题，提出的无限参数架构挺有创意，通过实时生成权重来适应新数据，比单纯用提示词或检索的方法可能更高效。

#Infinite-Parameter LLM #Mixture-of-Experts #提示词工程

arXiv cs.LG@Jinli Hu 等 4 人原文

论文 Agent 与开发者精选10:23

一种针对混合专家语言模型的专家剪枝方法 HOPE

研究团队提出的新方法 HOPE，通过考虑专家间的协同作用来优化混合专家语言模型的剪枝过程，在 122B 参数模型上测试，HOPE 在 50% 剪枝率下比 REAP 等方法性能更好，在代理任务上提升达 6.1%，证明了其有效性。

#Mixture-of-Experts #剪枝 #语言模型 #代理任务

arXiv cs.AI@Alex M. Tseng 等 5 人原文

论文 Agent 与开发者精选11:53

混合专家模型在重复数据训练中更容易过拟合

这个研究很实用，告诉你用混合专家模型时，重复数据训练要小心，4倍以上就要注意了，有方法可以缓解但效果有限。

#Mixture-of-Experts #模型稀疏化 #数据重复 #过拟合

arXiv cs.LG@Atindra Jha 等 5 人原文

论文精选73°18:45

MoE模型中三种推理优化为何失效

论文揭示了MoE模型中三种推理优化为何实际效果不佳，对模型部署有重要参考价值。

#Mixture-of-Experts #OLMoE-1B-7B #DeepSeek-V2-Lite #推理优化

arXiv: DeepSeek@Gokulakannan Sakthivel 等 4 人原文

MoE 模型超参数高效迁移方法研究

研究人员提出了一种方法，能通过小模型实验，准确预测万亿 token 规模 MoE 模型的最优学习率，省去了大量计算成本。他们用 155B 参数的模型验证了方法的有效性。

#Mixture-of-Experts #MoE #超参数 #学习率

arXiv cs.LG@Nayeon Kim 等 5 人原文

现代神经网络架构中的守恒定律统一框架

想知道GELU、多头注意力这些架构背后为什么有隐式偏好？这篇论文给出了严格的理论解释。

#GELU #SiLU #SwiGLU #Mixture-of-Experts

arXiv cs.LG@Viet-Hoang Tran 等 6 人原文