270m

general · 首次出现 2026-05-29 · 最近出现 2026-11-20 · 累计提及 16

综述

270M 通常指 Google Gemma 系列中约 2.7 亿参数量级的小型开源模型(如 Gemma 3 270M),它是端侧 AI 部署的代表性尺寸——足够小到能跑在手机、嵌入式设备甚至打印机上,又保留了可微调、可完成实际任务的能力。随着端侧推理和小模型微调成为热点,这一参数档位正受到越来越多开发者关注。

Gemma 270M 的近期进展

  • 在 14.1MB 内存下,Gemma 3 270M 模型成功在激光打印机上运行:经过高度量化压缩后,Gemma 3 270M 能在仅 14.1MB 内存的环境中运行,被移植到了激光打印机这类极端受限的设备上,展示了该模型在资源占用上的下限。
  • Google 工程师演示 21 分钟微调 Gemma 270M 手机端准确率从 46% 到 90%:一段仅 21 分钟的微调,就把 Gemma 270M 在手机端的任务准确率从 46% 提升到 90%,说明小模型配合针对性微调可以在特定场景快速达到可用水平。
  • Google 开源 EmbeddingGemma 2 端侧多模态嵌入模型:Google 发布了基于 Gemma 架构的原生多模态嵌入模型 EmbeddingGemma 2,面向手机端离线多模态检索场景,延续了小尺寸模型走向端侧的路线。
  • MIT 提出权重空间编程:GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 提升至 6 倍:虽然研究对象不是 270M 本身,但 MIT CSAIL 这项工作表明,不训练、不算梯度,仅修改约 0.016% 的权重就能让 0.8B 级小模型的数学正确率提升约 6 倍、指令遵循提升约 3 倍,为小模型能力修复提供了新思路。
  • 当前焦点与观察点

    围绕 270M 这类小模型的讨论主要集中在三点:一是压缩与部署的极限,14.1MB 内存运行打印机的案例说明量化技术已能把小模型压到传统嵌入式设备可承受的程度;二是微调性价比,21 分钟从 46% 到 90% 的数据让个人开发者和小团队看到了在端侧定制专属模型的可行性;三是除微调外的新优化路径,如权重空间编程这类免训练方法能否迁移到更小参数量的模型上。需要保持观察的是,小模型在通用能力上仍明显弱于大模型,其价值主要体现在垂直任务、离线场景和隐私敏感场景, evaluations 结果也多来自厂商或社区演示,实际效果需结合具体任务验证。

    相关报道

    10 条在档