面壁开源 MiniCPM-V 4.7：手机端跑 35B 多模态模型，速度 5.86 倍提升
精选理由
面壁开源的 MiniCPM-V 4.7 直接在手机上跑 35B 多模态模型，iPad 上每秒 17 个 token，还不掉精度，端侧玩家快看。
面壁智能开源了 MiniCPM-V 4.7，采用 35B-A3B 的 MoE 架构。它用量化压缩加上 LES 调度器，在 iPad Pro M4（16GB）上跑到 17+ tok/s，iPhone 17 Pro Max 上达到 13+ tok/s。推理速度从 2.97 提升到 17.39 tok/s（5.86 倍），基线精度不受损。视觉侧支持 4 倍和 16 倍混合 Token 压缩，降低多模态处理开销，适合隐私敏感场景的端侧部署。
原文 · AIGCLINK
今天上新的模型Meta的Muse Wonder、智谱的GLM-Legal中，面壁开源的MiniCPM-V 4.7值得一看，端侧多模态的部署经济学被改写了
MiniCPM-V 4.7 35B-A3B用量化压缩+LES调度，实现了手机跑35B MoE，推理速度达到每秒十几个Token
很多端侧加速方案是砍精度换速度，代价是掉点，LES在相对基线精度不动的前提下，靠调度把IO等待藏起来，最终实现从2.97达到17.39 tok/s（5.86x）
iPad Pro M4（16GB）上达到17+Token/s；iPhone 17 Pro Max上达到13+Token/s
视觉侧还支持4倍、16倍混合Token压缩，进一步降低多模态处理开销
这进一步利好隐私敏感场景
#端侧模型 #MiniCPMV47
