PyTorchCon 北美大会下个月开,两天议程全围绕 vLLM、Ray、DeepSpeed 这些开源框架,做推理和训练的可以去看看。
#PyTorch
PyTorch 官方把 Helion 接进 vLLM,一套 GEMM 代码自动选最优算法,在 Hopper 上跑赢 CUTLASS 和 DeepGEMM,搞推理部署的可以看看。
Arm 的人在 PyTorch 大会讲怎么用 ExecuTorch 把智能体跑进机械臂和穿戴设备,做边缘部署的可以去听。
Red Hat 的人在 PyTorch Conference 讲怎么用 vLLM 把智能体推理跑到 7x24 企业级,聊 KV cache、并发这些真问题,做后端的可以看看。
Raschka 又更新了,这期手把手教你用 PyTorch 算 token 概率给模型答案打分,还搭了一个 self-refinement 循环,最后跑 MATH-500 看效果。
训练 LLM 时 loss 突然炸了却找不到原因?OpGuard 能逐比特比对两次训练,直接定位出错的那个算子。
PyTorch 的 ExecuTorch 黑客松开放报名了,10 月中在旧金山,现场有骁龙笔记本和 Galaxy 手机可以上手部署模型,做端侧 AI 的可以去组队。
AMD 的工程师讲怎么在 1000 多张 MI355X 上跑 MXFP8 预训练,TorchAO 加 TorchTitan 的完整方案,做训练的可以听听
AMD 拿 1000 多张 MI355X 跑 MXFP8 预训练,还会讲 TorchAO 和 TorchTitan 的具体调优细节,搞训练的可以听听。
搞 PyTorch 或开源 AI 的朋友看过来,10 月 20-21 日 San Jose 两天大会,能跟维护者和贡献者当面聊。
Gradio 3.0 新版支持更多模型,简化了 AI 应用开发,是 PyTorch 和 TensorFlow 开发者的好帮手。
想让你自己训练的Transformer跑得更快?这篇手把手教你用NVIDIA Transformer Engine和FP8,还有代码和GPU跑分对比。
AWS官方手把手教你怎么用SageMaker和PyTorch搭推荐系统,还能解释为什么推荐这个产品,银行做合规推荐正需要这个。
把神经符号学习统一到一个可微框架里,在 MNIST 加法上比 LTN 和 DeepProbLog 又快又准,还兼容 PyTorch。
Transformer训练慢是很多开发者的痛点,这篇教程直接给出了用Apex和torch.amp加速的具体步骤和基准测试结果,做NLP或大模型训练的团队可以照着优化自己的代码。
做 LLM 微调的研究者或工程师,如果受够了黑盒框架的调试痛苦,torchtune 的模块化设计和 PyTorch 原生体验值得一试,能让你在保持性能的同时自由定制训练流程。
TorchTPU让PyTorch用户能够更顺畅地迁移到TPU,同时保持Eager模式体验,这对需要TPU算力的大规模AI训练场景有直接价值。