Stanford Marin 团队发布 Marin Mochi 535B-A23B 检查点及技术报告
Stanford Marin 团队放了个 535B 总参、23B 激活的 MoE 模型检查点,技术报告把每个架构组件为什么这么选都讲透了。做模型训练和架构研究的人值得翻报告,XSA 这类新设计能看到第一手分析。
Stanford Marin 团队放了个 535B 总参、23B 激活的 MoE 模型检查点,技术报告把每个架构组件为什么这么选都讲透了。做模型训练和架构研究的人值得翻报告,XSA 这类新设计能看到第一手分析。