#端侧推理

Liquid AI 放了个端侧友好模型，24B 总参但只激活 2B，M5 Max 上能跑到 184 tokens/s，跑本地智能体可以试试

官方一手marktechpost@Asif Razzaq原文

OpenBMB 的 MiniCPM-V 4.7 现在能在 Mac 上离线跑多模态了，1B 版每秒 315 token，图像视频都能看，数据不出本地。

OpenBMB@OpenBMB原文

Google 把 270M 参数的多模态 embedding 模型开源了，手机离线就能搜相册、搜语音，不用传云端，隐私党可以试试。

Gorden Sun@Gorden_Sun原文

Qualcomm 新一代旗舰芯片不卷跑分了，主打端侧 AI Agent，Android 高端机的玩法可能要变。

Genk原文

Qualcomm 出了颗 2nm 手机芯片，端侧能跑 300 亿参数的模型，Android 旗舰机要变强了。

Tech in Asia@Diya Lal原文

300 亿参数的 MoE 模型跑进手机了，内存砍半，预填充 330 Token/s，邮件、行程规划全在本地完成，不用联网。

Qualcomm 新旗舰手机芯片能在手机本地跑 300 亿参数的 MoE 模型，端侧 AI 时代又近一步，做端侧应用的开发者可以看看。

techcrunch@Ivan Mehta原文

小米发布了玄戒 O100 AI 芯片，采用 6nm 3D 晶圆级堆叠技术，带宽和推理速度都达到行业领先水平。

27B的模型在手机上跑，内存不到5GB，PrismML的Bonsai做到了。以后手机AI不连网也能用大模型了。

berryxia@berryxia2 个信源在谈原文

Om AI联汇发布的VLX模型，能在手机上实时看懂视频流，适合做机器人或智能硬件的AI大脑，跟云端模型比延迟低得多。

量子位@量子位的朋友们原文