在 14.1MB 内存下,Gemma 3 270M 模型成功在激光打印机上运行
约 14MB 内存运行 2.7 亿参数模型:谷歌工程师把 AI 装进打印机,每词元耗时约 60 秒
谷歌工程师把 2.7 亿参数的 Gemma 3 270M 编译成 PostScript 任务,让打印机的 CPU 兼职跑推理,不用改固件不外接硬件。用动态层加载把内存压到 14.1MB,每词元 60 秒慢归慢,但把“模型要跑在 GPU 上”这个预设打破了,玩边缘部署的人值得看看思路。
谷歌 DeepMind 技术团队成员 Omar Sanseviero 于 11 月 17 日在 X 平台展示了一项实验:在仅占用 14.1MB 峰值内存的情况下,让一台理光办公激光打印机运行 Gemma 3 270M(2.7 亿参数)模型,每个输出词元约耗时 60 秒。
实验没有改装打印机固件,也没有外接计算板,而是利用打印机内置的 PostScript 解释器来执行推理。Sanseviero 借助 Gemini 4 Carbon 模型,把一个小型 Transformer 推理引擎与量化后的模型一起编译成一份 PostScript 打印任务。由于打印机内存有限,实验采用动态层加载方式,18 个 Transformer 网络层轮流调入和移出内存。
性能方面,处理输入提示“Read the fine”的预填空阶段耗时约 184 秒,解码单个生成词元耗时 0.1 秒,总计 184.1 秒。整个计算由打印机自身 CPU 执行,答案最终通过打印页面输出。
约 14MB 内存运行 2.7 亿参数模型:谷歌工程师把 AI 装进打印机,每词元耗时约 60 秒
IT之家 11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下, 成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约 60 秒。 圣塞维耶罗借助谷歌的 Gemini 4 Carbon 模型,探索展示了一个特别实验,将小型 Transformer 推理引擎与量化后的模型编译成一个 PostScript 打印任务。 本次实验没有修改理光打印机固件,也未加装外部计算板,而是利用打印机内置的 PostScript 解释器执行计算,让原本用于描述打印页面的语言承担起运行 AI 的工作。 为充分发挥打印机有限的内存资源,本次实验并未一次性装下整个模型,改为采用动态层加载方式,轮流将模型各层调入、移出内存,该实验运行时峰值占用约为 14.1MB。IT之家附上相关截图如下: 性能输出方面,本次实验处理速度约为每个词元 60 秒(不是每秒 60 个词元)。报道称整个计算发生在打印机内部,由打印机的 CPU 执行 PostScript 程序,再把答案交给打印机打印,模型推理涉及 18 个 Transformer 网络层。 在预填充(prefill)阶段,处理输入提示“Read the fine”耗时约 184 秒,而解码(decode)单个生成词元耗时 0.1 秒,总计 184.1 秒。
本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Gemma 3 270M、PostScript、DeepMind、量化,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「IT之家」,经 AITOP 多维评分管线结构化提炼。