如果你在做可穿戴或传感器项目,这条值得看:Newmorphic 想用一个晶体管跑 AI,能耗比 BrainChip Akida 这类神经形态芯片压得更低。对端侧开发者和硬件采购方来说,电池续航和本地推理的取舍可能就此改变。
#端侧AI
麒麟 9050 的 GPU 升级数字很实在:性能涨 40%、光追涨 78%,还有 AI ISP 带来的 2 亿像素融合拍照。做端侧图形和影像开发的可以关注马良 API 与 HarmonyOS 的协同方案,对比高通骁龙新平台也有参考价值。
Liquid AI开源的LiquidCodec专门给端侧语音模型提速,在M4 Max上编码比实时快361倍,4比特量化也能跑。做本地语音交互、离线语音助手的开发者可以直接上手,不用依赖云端推理了。
如果你最近在纠结换不换 AI Phone,这篇专家观点可以当个参考——讲的是手机怎么帮你自动跑任务、跨应用干活,不用一个个点开 App。内容偏观察性,适合想了解端侧智能体方向的人快速扫一眼。
韩国政府直接砸 8,002 亿韩元,按应用场景点名要做 10 款端侧 AI 芯片,从家电到机器人无人机全覆盖。三星等代工厂还要优先给流片资源,做 AI 芯片或嵌入式开发的可以关注这个供应链机会。
Siri 联合创始人投了一家做声纹识别的 Helix,亮点是验证全程在手机本地跑,连 iPhone 13 都能带得动。做移动端身份验证、在意隐私合规的开发者可以看看这个端侧思路,和主流云端声纹方案走的是不同路线。
联发科把 3 月发布的 Genio 420(6nm、7.2 TOPS)塞进了今日宜休的智能床垫温控系统,心率呼吸数据全在端侧处理,不上云。标准版 9999 元、Pro 版 12999 元起,做睡眠硬件或端侧 AI 产品的团队可以看看这套芯片加模组的方案。
做嵌入式和端侧开发的朋友可以关注下:Cortex-M42 把 Helium 向量扩展下放到低成本 MCU,向量算力比 Cortex-M33 最高快 3 倍,跑关键词识别、传感器分析这类本地推理不用再上大芯片。芯片厂升级现有 M33 方案也省事。
想在桌面跑大模型的可以看看:技嘉这台 1 升小主机塞进 Blackwell GPU 和 128GB 统一内存,本地跑开源模型不用再堆服务器,接口和网络配置也挺全。
家里宝宝照片攒了几千张又懒得翻的话可以试试这款应用,它用苹果端侧 AI 自动做成回顾合集和延时视频,照片全程不出手机。和 Google Photos 那种要传云头的做法不同,在意隐私的家长会更放心。
高通问了 6 个市场 1.2 万个可穿戴用户,结论挺有意思:七成人想要 AI 帮忙管设备、办日程,智能眼镜用户几乎天天用 AI。做可穿戴或端侧 AI 的团队可以拿这份报告对需求,隐私数据也有参考价值。
华为首次拆解了麒麟 9050 的架构细节,NPU 算力直接提升 140%,端侧 AI 跑大模型会更从容。在没有先进制程的情况下靠封装和架构把晶体管密度拉高 53.5%,这个路线对关注国产芯片的人很有参考价值。
高通的 X105 调制解调器加中兴基站,把 5G-A 的上行增强技术跑通了:HPUE、SUL、AI 波束预测都验证过。对关注 5G-A 落地和端侧 AI 在通信里实际用法的通信工程师和运营商来说,这份测试细节挺有参考价值。
谷歌给 Googlebook 更新了 30 项修复,端侧 AI 能省下 3-6GB 内存,多开标签页也不容易崩了,可以检查一下有没有收到推送。
Omdia 出了份 AI PC 报告,2027 年出货占比要冲 60%,但调研里只有 9% 的人换电脑真是冲着 AI 去的,内存涨价还是最大变数,数据挺细的。
Hugging Face 的 Merve Noyan 发推说做端侧 AI 开发做得太开心,愿意倒贴钱给公司,一句话的推文。
OpenBMB 的 MiniCPM-V 4.7 1B 已经能在普通 iPhone 上离线识别小票、传单和截图,做端侧 AI 的开发者可以看看这个实际案例。
Nvidia 把 AI 芯片塞进个人电脑了,不用连云端就能跑 AI,数据中心之外又开了一条新战线。
助听器也卷 AI 了:Counterpoint 预测 2030 年近半产品带端侧 AI,峰力实测信噪比能多提 10 dB,不过续航会从 56 小时掉到 10 小时,代价写得挺实在。
35B 的模型离线跑在 iPhone 上只占 1.8GB 内存,这压缩水平真少见,做端侧 AI 的朋友可以看看他们的开源方案。
Microsoft 和 Apple 都在抢 PC 端 AI 的位置,这篇讲清楚了两家的竞争态势,关注电脑上跑 AI 的可以看看。
谷歌新出的EmbeddingGemma 2能同时处理文本图像视频音频,手机端就能跑,适合做本地多模态搜索。
苹果把每档设备能本地跑多大的模型直接列成表了,从 iPhone 的 140 亿到 Mac Studio 集群的 1.6 万亿,选机器跑模型前先看这张表。
PyTorch 的 ExecuTorch 黑客松开放报名了,10 月中在旧金山,现场有骁龙笔记本和 Galaxy 手机可以上手部署模型,做端侧 AI 的可以去组队。
现场实拍微软新 Surface 的端侧 AI 演示,跑在 Snapdragon X2 Plus 上,交互不用打字输入框,看看到底体验如何。
高通骁龙峰会一次发了手机、电脑、眼镜、XR 全线新平台,主打端侧跑 AI,感兴趣端侧 AI 硬件的可以看看。
联想在云栖大会上展示了天禧AI的全套多端产品,主打把超级组织能力放到手机和PC端侧,想看端侧AI落地的可以了解下。
一家叫 Alpenglow Tek 的公司在做超低功耗 NPU 芯片,想让耳机手表这类小电池设备也能常开语音和视觉识别,做硬件的可以看看。
Qualcomm 新旗舰芯片来了,2nm 制程加 5GHz 主频的手机 CPU 还是头一回,主打端侧跑智能体,关注手机性能的可以看看。
高通在骁龙峰会上晒出社区数据:Insiders 2300 万、Creators 4.05 亿,还能看到它把叙事转向端侧智能体 AI。
Edge0开源了能在手机上运行的35B模型,内存仅需1-2.5GB,对端侧AI开发者很实用。
小米量产XRing O3芯片,MiMo实现端侧运行,O100/D100瞄准2027年商用。