smolmaxxing:让1G内存的旧电视盒子和iPad也能本地跑大模型
家里吃灰的电视盒子、旧iPad现在真能跑本地大模型了,1G内存都行,实测token速度都贴出来了。用的还是Qwen3.5、Ling-mini-2.0这些模型,源码在GitHub上,想白嫖旧硬件玩本地推理的可以照着改。
家里吃灰的电视盒子、旧iPad现在真能跑本地大模型了,1G内存都行,实测token速度都贴出来了。用的还是Qwen3.5、Ling-mini-2.0这些模型,源码在GitHub上,想白嫖旧硬件玩本地推理的可以照着改。