numa

NUMA（非一致性内存访问，Non-Uniform Memory Access）是一种多路服务器内存架构：CPU 的每个节点访问本地内存快、访问远端节点内存慢，操作系统和软件需要据此做调度优化。在大模型推理、多路 AI 服务器快速普及的背景下，NUMA 亲和性调优正重新成为硬件与软件协同设计中的关键议题。近期多家厂商的新品与方案，都直接或间接涉及多节点内存访问效率问题。

NUMA 相关的近期进展

英特尔推出推理微服务：自动检测至强硬件并应用 vLLM 调优参数——英特尔推出面向大模型推理的微服务，可自动检测至强平台的硬件拓扑并应用 vLLM 调优参数。至强多路服务器的性能发挥高度依赖 NUMA 感知，这类自动化工具降低了多节点内存调优的门槛。

智能体 AI 测试：英伟达 Vera CPU 比英特尔 Sapphire Rapids 快 2.2 倍——在智能体 AI 工作负载对比测试中，英伟达 Vera CPU 相对英特尔 Sapphire Rapids 快 2.2 倍。新一代服务器 CPU 在内存子系统和跨节点通信上的设计差异，直接影响 NUMA 场景下的实际表现。

元脑服务器：推出 CXL 内存跨代扩展方案，实现 DDR5 和 DDR4 同机部署内存扩容——浪潮元脑服务器推出 CXL 内存扩展方案，实现 DDR5 与 DDR4 同机部署扩容。CXL 引入的额外内存层级进一步复杂化了内存访问延迟分布，对 NUMA 管理提出更高要求。

Meta 展示 CRAM 内存压缩方案：只读性能接近原生 DRAM——Meta 展示的 CRAM 压缩内存方案宣称只读性能接近原生 DRAM，为多路服务器缓解内存带宽与容量瓶颈提供了新思路。

当前焦点与观察点

NUMA 相关讨论的核心在于：AI 推理负载规模越来越大，多路服务器的远端内存访问延迟容易被放大成推理延迟和吞吐损失。目前的应对方向主要有三类：一是软件侧的 NUMA 感知调度，如英特尔推理微服务自动匹配硬件拓扑；二是硬件侧优化 CPU 与内存互联设计，如新一代服务器 CPU 与 Maia 300 采用的 chiplet 架构这类多芯粒方案；三是通过 CXL、内存压缩等技术扩展内存层级。

值得观察的争议点是，这些新增的内存层级和跨节点路径虽然提升了容量与灵活性，但也让内存访问的延迟差异更复杂，可能加大调度软件的负担。NUMA 优化是否会从手动调优彻底走向自动化，以及 CXL 等技术在 AI 服务器中的实际收益，仍需更多实际负载验证。

综述

NUMA 相关的近期进展

当前焦点与观察点

相关报道