smolmaxxing：让1G内存的旧电视盒子和iPad也能本地跑大模型
家里吃灰的电视盒子、旧iPad现在真能跑本地大模型了，1G内存都行，实测token速度都贴出来了。用的还是Qwen3.5、Ling-mini-2.0这些模型，源码在GitHub上，想白嫖旧硬件玩本地推理的可以照着改。
一项名为 smolmaxxing 的改造项目基于 llama.cpp，让只有 1GB 可用内存的老旧设备也能在本地运行 AI 大模型。核心手段有三：针对老旧芯片重写底层计算代码、从模型中删掉平时用不到的生僻词汇以节省空间、以及像翻书一样把暂时用不到的模型数据放在硬盘里，读取时预判并提前加载下一批数据。
实测成绩方面，第三代小米电视盒子 S 运行 2B 规模的 Qwen3.5 时每秒生成 7.7 个 token，还能以每秒 5.1 个 token 的速度跑 16B 规模的 Ling-mini-2.0。2013 年的第一代 iPad Air 运行 1.7B 规模的 Bonsai 模型时达到每秒 24 到 26 个 token，同样也能跑起 16B 的大模型。
这项工作说明大模型推理的门槛不只取决于买新硬件，优化内存调度和词表裁剪也能把闲置旧设备变成可用的本地推理终端，对想低成本折腾本地部署的开发者有直接参考价值。
把家里的破烂设备用起来。
smolmaxxing：让老旧电视盒子和旧iPad也能在本地运行AI大模型
基于llama.cpp，专门针对老旧芯片重写了底层计算代码，删掉了模型里平时用不到的生僻词汇以节省空间，还让设备像翻书一样，把暂时用不到的模型数据存在硬盘里，需要时再快速读取，并提前预判加载下一步要用的数据。
改造完成后，两款只有1G可用内存的老设备都成功跑起了AI对话。第三代小米电视盒子S运行2B规模的Qwen3.5时，每秒能生成7.7个token，甚至能以每秒5.1个token的速度运行16B规模的Ling-mini-2.0。2013年的第一代iPad Air在运行1.7B规模的Bonsai模型时，每秒生成速度达到了24到26个token，同样也能跑起16B的大模型。
Github：https://t.co/Y1StMcr71G
本条情报归属 AITOP「技巧」核心栏目，重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：smolmaxxing、llama.cpp、Qwen3.5、本地推理，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「Gorden Sun」（@Gorden_Sun），经 AITOP 多维评分管线结构化提炼。截至目前，全网已有 8 家独立信源对该事件进行交叉印证与跟进报道（含 Thomas Wolf、Hugging Face: Blog、Julien Chaumond 等），属于近期高关注度行业信号。
