AI SSD:大模型推理的存储范式转移
精选理由
AI SSD把存储和算力绑到每个Token上,和传统盘级方案思路不一样,搞推理的可以看看。
AI SSD正将大模型推理的存储范式推向新阶段。它让算力、网络、内存与存储围绕每个Token协同工作。这改变了传统推理中存储作为独立环节的定位。
原文 · 量子位
算力、网络、内存与存储开始围绕每个Token协同
AI SSD把存储和算力绑到每个Token上,和传统盘级方案思路不一样,搞推理的可以看看。
AI SSD正将大模型推理的存储范式推向新阶段。它让算力、网络、内存与存储围绕每个Token协同工作。这改变了传统推理中存储作为独立环节的定位。
算力、网络、内存与存储开始围绕每个Token协同
机械革命要出个用 NVIDIA RTX Spark 芯片的迷你主机,亮点是自研 AI SSD,能把大模型从内存挪到闪存跑,减少重复加载。
雷神新出的 AI Master M7000 移动工作站,用锐龙 AI Max+ 395 处理器,有 85GB AI SSD 缓存,适合跑大模型,比普通笔记本强很多。
一个挺有意思的行业观察:TypeSafe AI 想推 System One Models 这个词,结果没人用,大家把 Jev 叫 decision model。
讲的是 Meta 花大价钱挖来的 Alexandr Wang,辍学生出身,现在被认为是 Zuckerberg 的潜在接班人,故事挺有意思。