AgentX

AgentX 是近期出现在开源推理生态中的一个智能体（Agent）推理服务项目，其首个 TPUv7 硬件提交由 vLLM 提供推理支持。随着大模型应用从单轮问答转向多步、长上下文的智能体任务，AgentX 所代表的"为 Agent 场景优化的推理栈"正成为 vLLM、SGLang 等推理引擎竞争的新焦点。

AgentX 近期进展

首个 TPUv7 提交现身 AgentX，由 vLLM 提供推理服务：AgentX 完成了对 TPUv7 的首次支持提交，推理后端采用 vLLM，显示出该项目在异构硬件适配上的野心，不再局限于 NVIDIA 生态。

vLLM 复现 DeepSeek 部署性能：decode 差距缩至 6% 以内：vLLM 将与 DeepSeek 官方部署的 decode 性能差距压缩到 6% 以内，为 AgentX 这类上层应用提供了更接近官方水准的开源推理基座。

vLLM 团队实现 Kimi K3 在 NVIDIA GB300 NVL72 上 842 tokens/s 解码：在最新旗舰硬件上，842 tokens/s 的单流解码速度显著改善了 Agent 类长链路任务的响应体验。

vLLM 三周优化 DeepSeek-V4.1-Flash：低并发提速 1.9 倍：针对 Agent 场景常见的低并发、多轮交互负载，三周内实现 1.9 倍提速，直接利好交互式智能体应用。

SGLang × Qwen × NVIDIA 三方合作：用 NVFP4 KV Cache 突破长上下文与 Agentic 推理瓶颈：SGLang 联合 Qwen 与 NVIDIA，通过 NVFP4 量化的 KV Cache 方案专门解决 Agentic 推理中的长上下文瓶颈，与 AgentX 所处的赛道直接相关。

当前焦点与观察点

当前围绕 AgentX 及同类智能体推理服务的讨论，核心在于"Agent 负载与传统推理负载的差异"。多步调用、长 KV Cache、低并发高交互等特点，使得单纯堆吞吐量的优化路径不再够用，各引擎都在推出针对性方案：SGLang 的低延迟模式（与 NVIDIA 和 AMD 合作开发）、vLLM 对低并发场景 1.9 倍的提速，都属于这一方向。

硬件侧的竞争同样值得关注。AMD MI355X 在 Kimi K3 推理上性能超 NVIDIA B300 24.4%，vLLM 也已支持 NVIDIA Vera Rubin 芯片；AgentX 选择在此时适配 TPUv7，说明智能体推理层的硬件中立性正在成为趋势。

成本是另一个观察点。vLLM 在 DeepSeek-V4.1-Flash-1017 发布时达成 1.3B tokens/美元的 TCO，对于需要大量循环调用模型的 Agent 应用，单位 token 成本几乎直接决定产品可行性。后续 AgentX 能否在 TPUv7 等非主流硬件上复制这类成本成绩，将检验其生态整合能力。总体来看，AgentX 处于"智能体应用爆发"与"推理引擎快速迭代"的交汇点，值得持续跟踪其提交记录与实际部署表现。

综述

AgentX 近期进展

当前焦点与观察点

相关报道