MiniCPM-V 4.7 在 iPhone 上推理速度从 3.38 提升至 20.51 tokens/s
精选理由
OpenBMB 的 MiniCPM-V 4.7 经社区优化后在 iPhone 上从 3.38 跑到 20.51 tokens/s，约 6 倍提速，想搞端侧部署的别错过。
OpenBMB 转发了社区对 MiniCPM-V 4.7 的工程分析，通过推理优化将 iPhone 端侧速度从 3.38 tokens/s 提升到 20.51 tokens/s，约 6 倍。帖子强调推理优化对端侧多模态模型落地的关键作用。MiniCPM-V 4.7 是 OpenBMB 面向手机等设备的轻量视觉语言模型。
原文 · OpenBMB
Love this breakdown! 🔥 From 3.38 to 20.51 tokens/s on an iPhone — a great example of how inference optimizations can unlock powerful on-device AI.
Thanks for highlighting the engineering behind MiniCPM-V 4.7! 🚀💙
