做主动式智能体的开发者可以看看这篇。Coco 用独立的 Observer Agent 在本地观察桌面行为,判断什么时候帮你、什么时候别打扰,介入判断的 F1 提升了 2.4-3.0 倍。数据不出设备这点对企业场景很关键,还附带 OSWorld-Persona 基准可直接用来测自己的方案。
#端侧部署
共 12 条 · 7 天 1 条 · 30 天 3 条
信息流里打上「端侧部署」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月11日
Coco 提出深度个性化:桌面主动智能体的本地上下文观察方案
10月30日
GAAC:无损 KV 压缩方案,让长上下文推理更省内存
苹果和英伟达设备都能跑的无损 KV 压缩,内存省 26%、吞吐提 29%,做端侧长上下文推理的值得看看这套编解码思路。
10月16日
BiShield-TEE 论文指出端侧 TEE 大模型权重混淆方案存在可破解漏洞
端侧部署大模型的公司值得看:论文证明 GroupCover、ArrowCloak 这类 TEE 权重混淆能被破解,还给出了双向混淆的替代方案和开源代码。
10月14日
面壁开源MiniCPM-V 4.7:3G内存,iPhone断网跑多模态
面壁开源了MiniCPM-V 4.7,3G内存就能在iPhone上断网跑多模态,做端侧应用的可以直接上手试试。
10月13日
OpenBMB 发布开源多模态模型 MiniCPM-V 4.7 系列
OpenBMB 的 MiniCPM-V 4.7 能在 iPhone 上跑 35B 多模态模型,3GB 内存 13 tokens/s,OCR 还压过 Qwen3.6,端侧玩家可以试试。
8月14日
Liquid AI发布端侧视觉语言模型LFM2.5-VL-3B
Liquid AI把视觉语言模型塞进端侧,能读屏、指物、调工具,3GB体积在苹果芯片上跑得飞快。
8月10日
7月28日
6月18日
头部具身大脑公司再获数亿美元融资,世界模型路线,15家VC投
一家专注具身大脑的公司又融了一大笔钱,世界模型路线,15家VC跟进。开源、端侧、训练场三连发,你可以关注它的技术方案。
5月22日
Hy-MT2 多语言翻译模型发布:1.8B 量化后仅 440MB,性能超微软豆包 API
做多语言翻译或端侧部署的团队终于有了一个又快又准的选择——1.8B 量化后 440MB 就能跑,性能还超过微软豆包 API,值得直接上手试。
5月21日
腾讯混元 Hy-MT2 翻译模型开源,手机端可部署仅 440MB
手机端就能跑的高质量翻译模型来了,做本地化应用、离线翻译工具或移动端 AI 产品的开发者可以直接下载试用,440MB 的轻量版值得关注。
IT之家原文
5月12日