Fractile AI 把 DRAM 直接堆叠在处理器上提升内存带宽
这家叫 Fractile AI 的公司把内存直接焊在芯片上,专治大模型推理时带宽不够的老问题,还拉了头部实验室一起搞。做推理部署或关心算力成本的朋友可以看看这条路线。
这家叫 Fractile AI 的公司把内存直接焊在芯片上,专治大模型推理时带宽不够的老问题,还拉了头部实验室一起搞。做推理部署或关心算力成本的朋友可以看看这条路线。
Volantis用光链路技术让AI芯片内存快数倍,编码任务从小时级缩至分钟级。
JEDEC的MRDIMM让DDR5内存速率冲到17600 MT/s,带宽直逼DDR6,老平台就能升级,数据中心省下换插槽的钱。
澜起科技的第二代MRDIMM内存速度达到12800MT/s,比上一代快45%,是普通RDIMM的两倍,专门解决AI推理时的带宽瓶颈,适合关注服务器硬件的朋友。