研究：HBF 高带宽闪存何时比加 GPU 更划算
When Is High-Bandwidth Flash Cost-Effective for LLM Inference?
用模拟数据算清楚了 HBF 什么时候能省 GPU、什么时候只能提速。比如 DeepSeek V3 这类大 MoE 加上 HBF 能跑在单块 RTX 4090 上，100 块卡规模吞吐最高提 26.5 倍。做私有化部署和硬件选型的人值得对照自己场景看。
arXiv 上一项新研究评估了高带宽闪存（HBF）用于 LLM 推理的成本效益：相比 SSD，HBF 能把模型权重放到离 GPU 更近的位置，从而减少满足服务目标所需的 GPU 数量。研究用公开组件数据做了 468 组对比，覆盖九个稠密和 MoE 模型、五种负载、两个 GPU 平台和 1–100 块 GPU 规模。结果显示，在固定需求下，HBF 能降低最小 GPU 数量的情形占 98/468，其中多数是暂停和短会话场景，63 种情形在 HBF 堆栈价格降到半块 GPU 时仍具成本效益。
对单用户短聊天场景，HBF 让 DeepSeek V3、Kimi K2 这类大 MoE 模型在一块 RTX 4090 上达到宽松的服务目标，而常规部署无法做到。固定 GPU 数量时，HBF 在 16 块以下 GPU 的匹配对比中有 48% 提升吞吐量，更大规模下为 13%；即使到 100 块 RTX 4090 规模，级联 HBF 仍让三个大型 MoE 的离线吞吐量提高 16.4–26.5 倍。
一个关键结论是成本节省和吞吐量提升出现在不同场景，硬件选型需要按业务目标分开判断。对预算有限的部署方来说，这份研究给出了 HBF 何时值得纳入服务器的量化边界。
When Is High-Bandwidth Flash Cost-Effective for LLM Inference?
Can high-bandwidth flash (HBF) make LLM inference cheaper than adding GPUs? By storing weights closer to the GPU than SSD, HBF may reduce the number of GPUs needed for model capacity. However, this integration is only justified if it meets service targets and its cost is recovered. We simulate this integration using public component data across nine dense and mixture-of-experts (MoE) models, five workloads, two GPU platforms, and 1--100 GPUs. At fixed demand, HBF reduces the minimum GPU count to meet a service target in 98 of 468 comparisons; majority of them are paused and short sessions, 63 remain cost-effective at half a GPU price per HBF stack. For single short-chat users, HBF enables large MoEs, e.g. DeepSeek V3 and Kimi K2, to meet a relaxed service target on one RTX~4090 GPU, where conventional serving fails. At fixed GPU count, HBF improves throughput in 48\% of matched comparisons below 16 GPUs and 13\% at larger counts. Even at 100 RTX~4090-scale GPUs, cascaded HBF raises offline throughput by 16.4--26.5$\times$ for three large MoEs. We found savings and throughput gains arise in different scenarios.
本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：HBF、LLM推理、DeepSeek V3、Kimi K2，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始信息发布自一手权威信源「arXiv: DeepSeek」（Tier-1 一手发布），具备高确定性参考价值。