Groq 下一代推理芯片计划堆叠 DRAM 突破 SRAM 容量瓶颈

据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以解决片上 SRAM 容量过小的问题。当前 Groq 3 LPU 的 500MB SRAM 提供 150TB/s 带宽，约为 Rubin GPU HBM 带宽的 7 倍，但一个 256 芯片机柜总容量仅 128GB，跑万亿参数模型约需 2000 颗芯片。报告中的 3DS 设计将 DRAM 芯片垂直连线但保持标准 DRAM 接口，只提升容量；混合键合方案则可实现约 10 倍于 HBM 的带宽密度，每 bit 能耗降低 77% 至 83%。Nvidia 去年 12 月以 200 亿美元授权 Groq 技术并雇用其高管，Cerebras 也计划在 CS-6 晶圆上堆叠 DRAM。