做 PyTorch 训练的朋友可以看看,AWS Trainium 现在原生跑 PyTorch,代码一行不用改,大会现场还有 kernel 开发和 RL 的实操演示。
#AI芯片
被传出要被收购的 Tenstorrent 反手拿了 15 亿美元融资,估值 62 亿美元,坚持做开放路线的 AI 芯片对抗 Nvidia。
Jim Keller 带的 Tenstorrent 又融了 15 亿美元,估值一年从 27 亿涨到 62 亿,做开放 RISC-V AI 芯片的那家。
Anthropic 这次借钱买芯片的利率都超 10% 了,比四个月前的 8.5% 高不少,能看出 AI 基建融资有多烧钱,顺便还能了解它的 PBC 上市架构。
三星和 SK 海力士在 HBM 内存上较劲,都想锁住 Nvidia 和 OpenAI 这些大客户的订单,看看谁的产能和良率能赢。
OpenAI 自研的首款芯片 Jalapeño 登上了 TIME 年度最佳发明榜,想了解他们造芯片思路的可以看看。
Axera 出了款桌面 AI 芯片,速度比 NVIDIA DGX Spark 快最多 30%,价格才一半,还能多颗组集群,想跑本地模型可以看看。
前 Intel 掌门基辛格直接开喷 HBM:位密度低、30 瓦就发烫、芯片边缘接不下几堆,关心 AI 算力硬件的可以看看他的具体论据。
英伟达在华份额掉到 34%,华为半年出货 57.2 万颗追到 28%,还有平头哥、寒武纪的具体数据,看国产芯片替代进度这份报告很直观。
微软的自研芯片到第三代了,走 chiplet 路线跟英伟达硬碰硬,每兆瓦算力号称高出 40%,明年就要部署上百万颗,云厂商们的算力之争越来越有看头了。
英特尔 CEO 在新加坡说 AI 硬件还要缺两三年,还提到 GPU 和 CPU 配比从 8 比 1 掉到 4 比 1,做硬件采购的可以看看
Microsoft 的 Copilot 之前口碑一般,这期节目讲了新负责人怎么把它救回来的,还顺带聊了他们的自研 AI 芯片和 Sora 动向,信息挺密。
微软自研芯片出到第三代了,Maia 300 用 chiplet 加 HBM4,token 产出是上代 7 倍,每瓦性能高 2.5 倍,直接对标 GPU 成本。
微软把自研芯片卷到 N2P 工艺了,288GB HBM4 加 13.8 PFLOPS 的 FP4 算力,主要冲着推理场景去的,2027 年才部署。
微软要把自家 Maia 芯片推到台前了,Maia 300 每兆瓦 tokens 比主流 GPU 高 40%,2027 年直接替代部分 Nvidia,价格战有得看。
微软把自研 Maia 芯片从替补推上主力,Maia 300 能效比 GPU 高 40%,Teams 和 Copilot 已经在用上一代了。
Microsoft 的 Maia 300 芯片来了,主打云端 AI 推理,想少买点 Nvidia 的 GPU,还专门优化了推理模型和智能体任务。
IBM 把自家 Spyre 芯片接进了 PyTorch,靠的是设备、内存、编译这些现成抽象层,想了解框架如何兼容多硬件的可以看看这篇官方博客。
Samsung 这季利润约 957 亿美元,创科技行业单季纪录,背后推手是 AI 服务器对存储芯片的疯狂采购,看看 AI 热钱都流向哪了。