#推理
SambaNova 的 CEO 跟 Bloomberg 聊了推理成本这笔账，还讲了摩根大通为什么坚持把推理留在自己防火墙里，做企业 AI 的人可以听听。
PyTorchCon 10 月在 San Jose 开，这次是 Google Cloud 的工程师讲推理基础设施怎么扛生产规模，做部署的可以关注。
IBM 的 Carlos Costa 要在 PyTorchCon 讲怎么把开源模型推理做到生产级规模，做部署的可以去听。
微软把自研 Maia 芯片从替补推上主力，Maia 300 能效比 GPU 高 40%，Teams 和 Copilot 已经在用上一代了。
vLLM 的人跑去阿里云大会分享推理经验，讲的是 Agent 时代开源推理怎么演进，做推理部署的可以看看
这是 @gauri__gupta 为 AI 实验室技术面试准备的笔记，系统梳理了训练和推理中的关键优化技术，比如 KV Cache、ZeRO 和 DualPipe，对准备面试的人很有帮助。
NVIDIA 官方出了一套 LLM 推理指标体系，把 prefill 和 decode 阶段的延迟、吞吐等概念讲得特别清楚，对选型或容量规划很有帮助。
摩尔线程这次一口气端出了训练、推理和算力工厂的硬核数据，2000PFLOPS真实落地产能，性能提升3.5倍，国产GPU玩家越来越能打了。
AWS 把 SageMaker HyperPod 的推理能力补全了，能抓数据做审计、直接从 Hugging Face 拉模型、用 NVMe 加速启动，还有自定义域名和细粒度权限，搞企业部署可以看看。
Cognition分享了RL训练的新玩法：跨三大洲四数据中心混用自有GPU和FireworksAI，靠压缩权重差异同步，挺有意思。
AWS 教你用 CloudWatch 盯着 SageMaker 上的生成式 AI 推理，有详细指标和仪表盘，调性能抓问题都好使。
做视频理解或 MLLM 研究的同学，这篇综述帮你把碎片化的方法统一到“观看-记忆-推理”框架下，省去自己梳理文献的时间，值得收藏作为 roadmap。
OpenShell 新增 Vertex AI 支持，让多云 AI 智能体部署更灵活，做跨平台推理的团队可以直接用起来。
英伟达下一代 AI 芯片 Vera Rubin 将推动推理和训练性能飞跃，做 AI 基础设施的团队值得关注其交付节奏和生态支持。
