OpenBMB 发布 MiniCPM-V 4.7：35B MoE 多模态模型可在手机本地运行
35B 的多模态模型塞进手机只要 3GB 内存，靠 LES 技术把专家权重放闪存按需加载，速度还有 13 tokens/s，搞端侧的可以看看。
OpenBMB 发布 MiniCPM-V 4.7，采用 35B-A3B 参数的 MoE 架构，在 iPhone 17 Pro Max 上仅占 3 GB 内存，解码速度达 13+ tokens/s。核心依赖 LES（前瞻专家调度）技术，通过跨层路由预测把专家权重放在闪存按需加载，实测取得约 5 倍加速。同时推出 SRFT（自回放微调）方案，以 Task:Replay = 4:1 混合数据，在四个模型上把微调导致的遗忘降低 80%–99%，任务性能基本无损。另有 1B 轻量变体面向资源受限设备，支持 iOS 和 Android 本地运行。
OpenBMB 发布 MiniCPM-V 4.7 首个能在手机本地流畅运行、且不牺牲性能的开源 MoE 多模态模型，35B-A3B 参数，在 iPhone 17 Pro Max 上仅占 3 GB 内存，解码速度 13+ tokens/s huggingface.co/collections/op… # 两项关键技术需要关注 1. LES（前瞻专家调度），让 35B 模型装进 3GB 内存 这是最核心的工程突破。原理并不神秘：MoE 模型的专家权重不必全部驻留内存，可以放在闪存里按需加载，但随机加载会造成明显卡顿。LES 通过跨层路由预测（预判下一层会用到哪些专家并提前加载，同时优先计算已在内存中的专家）把加载停顿大幅压低，配合量化和存储布局优化，在真实设备上取得约 5 倍加速。这本质上是把瓶颈从“内存容量”转移到了“闪存带宽 + 预测命中率”，属于系统层面的创新而非模型结构创新。 2. SRFT（自回放微调），解决定制化时的灾难性遗忘 面向开发者的微调方案，思路相当优雅：微调窄任务前，先让模型自己为一批覆盖原有能力的通用 prompt 生成回答，经拒绝采样筛选后，以 Task:Replay = 4:1 混入任务数据做普通 SFT。训练流程完全不变，只改数据。关键洞察在于标签必须 on-policy（来自模型自身的分布）；消融实验显示，同样的数据量，自生成标签把通用能力退化压到 1.58 分，外部标签只能压到 5.58。跨四个模型验证，遗忘降低 80%–99%，任务性能基本无损。 OpenBMB @OpenBMB 🎬 35B MoE multimodal AI. On your phone. With just 3GB of memory. 🤯 This is MiniCPM-V 4.7 in action: reading real-world signs, planning around constraints, parsing complex documents, and reasoning over visual data. Powered by LES (Lookahead Expert Scheduling), the 35B-A3B model brings efficient MoE inference to mobile devices, while the lightweight 1B variant delivers capable multimodal understanding on resource-constrained hardware. 🛠️ With Self-Replay Fine-Tuning (SRFT), developers can customize models for new tasks while maintaining general performance. From iOS to Android, MiniCPM-V 4.7 makes powerful multimodal AI more practical to run locally. Try it � github.com/OpenBMB/MiniCP… Qlr huggingface.co/collections/op… KGhymw Self-Replay Fine-Tu openbmb.cn/en/blog/self-r… reRCtW Your browser does not support the video tag. 🔗 View on Twitter 🔗 View Quoted Tweet 💬 1 🔄 0 ❤️ 2 👀 361 📊 1 ⚡
