技巧

网友用停产傲腾内存无显卡跑通 Kimi K3,每秒输出 1.5 词元

不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元

精选理由

这个折腾太硬核了:一块显卡都没有,靠停产的傲腾内存加至强 CPU 跑通月之暗面那个 2.8 万亿参数的 Kimi K3,用 llama.cpp 推理,1 比特量化最快每秒 1.5 个词元。速度感人但证明了家用硬件也能啃超大模型,对喜欢搞本地部署的玩家很有参考价值。

11 月 2 日,Reddit 网友 u/IndividualSurvival 发帖展示家庭实验室尝试:不配备任何显卡,仅靠已停产的英特尔傲腾持久内存 200 系列和 40 核第三代至强可扩展处理器,跑通了月之暗面 2.8 万亿参数的 Kimi K3 模型。

正文

硬件上,傲腾持久内存 200 系列基于 3D XPoint 非易失性存储技术,单条容量可选 128GB、256GB 或 512GB,面向第三代至强平台设计。该网友使用 App Direct 模式,让 DRAM 与傲腾作为两个独立数据空间呈现给软件,并借助 llama.cpp 执行推理。

速度方面是明显短板:1 比特量化下初始生成速度为每秒 0.85 个词元,关闭 DAX 直接访问、利用 DRAM 缓存后提升至每秒 1.50 个词元;3 比特量化仅达每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。项目属可行性测试,展示了大参数模型在纯内存推理路径上的极限状态。

原文 · IT之家

不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元

IT之家 11 月 13 日消息,网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖,分享了一项家庭实验室尝试,在不配备显卡的情况下,使用已停产的英特尔傲腾持久内存, 成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。 IT之家注:“傲腾”(Intel Optane)是一套基于 3D XPoint 的内存与存储产品技术,是英特尔与美光共同开发的非易失性存储技术。该网友使用傲腾持久内存 200 系列,外形和安装方式接近服务器内存条,单条提供 128GB、256GB 和 512GB 三种容量,针对第三代至强可扩展处理器平台设计。 在配置方面,该网友使用 40 核第三代英特尔至强可扩展处理器(原文并未明确具体规格),以及傲腾持久内存 200 系列(原文并未明确具体容量),并使用 App Direct 模式(DRAM 和傲腾作为两个独立的数据空间呈现给软件)测试,并使用 llama.cpp 软件执行推理。 不过该项目依然只是测试项目,词元(Token)输出速度方面并不流畅。报道显示,采用 1 比特量化、压缩模型数据后,初始生成速度约为每秒 0.85 个词元;关闭直接访问功能 DAX、让常用数据受益于 DRAM 缓存后,速度提升至每秒 1.50 个词元。另一项 3 比特量化测试仅达到每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Kimi K3、llama.cpp、Intel Optane、月之暗面,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「IT之家」,经 AITOP 多维评分管线结构化提炼。