网友用停产傲腾内存无显卡跑通 Kimi K3,每秒输出 1.5 词元
这个折腾太硬核了:一块显卡都没有,靠停产的傲腾内存加至强 CPU 跑通月之暗面那个 2.8 万亿参数的 Kimi K3,用 llama.cpp 推理,1 比特量化最快每秒 1.5 个词元。速度感人但证明了家用硬件也能啃超大模型,对喜欢搞本地部署的玩家很有参考价值。
IT之家原文
这个折腾太硬核了:一块显卡都没有,靠停产的傲腾内存加至强 CPU 跑通月之暗面那个 2.8 万亿参数的 Kimi K3,用 llama.cpp 推理,1 比特量化最快每秒 1.5 个词元。速度感人但证明了家用硬件也能啃超大模型,对喜欢搞本地部署的玩家很有参考价值。