AI 推理芯片是专门用于运行已训练好的人工智能模型、执行实际预测和生成任务的计算芯片，与侧重模型训练的芯片相区分。随着大模型从研发走向大规模商用部署，推理环节的算力成本和能效成为产业竞争的焦点，AI 推理芯片因此成为当前芯片行业增长最快的细分市场之一。
AI 推理芯片近期进展
当前焦点与观察点
当前 AI 推理芯片的竞争呈现两条主线：一是头部厂商围绕数据中心推理的路线之争，英伟达以 GPU 加开放生态（如 NVLink Fusion）巩固主导地位，AMD 则通过收购补齐推理短板；二是应用侧的多元化，从云端大模型推理到医疗影像等边缘场景，低功耗、专用化成为新方向。
值得关注的观察点包括：内存计算等新架构能否在推理场景撼动传统 GPU；国产推理芯片在大厂供应链中的渗透速度；以及推理需求占比持续上升后，单位推理成本能否显著下降——这将直接影响大模型商业化的整体节奏。