斯坦福大学开设「深度学习炼金术」课程，公开教学资料和视频

斯坦福大学 2026 秋季课程 CS 312「Deep Learning Alchemy」，课程资料和视频会全部公开！ 课程由 Tatsunori Hashimoto @tatsu_hashimot...

斯坦福大学 2026 秋季课程 CS 312「Deep Learning Alchemy」，课程资料和视频会全部公开！ 课程由 Tatsunori Hashimoto @tatsu_hashimoto 和 Suhas Kotha @kothasuhas 主讲，它是深度学习“实验方法论”课，现有课程体系里几乎无人系统教授：如何设计、运行、并预判深度学习实验。 Stanford CS 312: Deep Learning Alchemy deep-learning-alchemy.github.io # 课程设计的核心主张 "Alchemy is learned by hand"（炼金术只能亲手学会）。 课程直言：许多教科书教给你的心智模型缺乏实证支持；它点名了经典的偏差-方差权衡，指出这类理论在今天的 scaling 时代已经失效。深度学习尚未形成成熟理论，仅靠数学功底不足以发明下一代架构。结论是：没有替代方案，只能大量亲手做实验，在“计算上可行的实验域”里积累真实的经验直觉。 "Prediction is understanding"（能预测才算理解）。 这是全课最鲜明的观点。它把“理解”操作化地定义为：在实验跑出来之前，能准确预测它的结果。这直接体现在课程考核方式上。这个理念与近年来“深度学习的科学化”（将 DL 作为实验科学来研究）的思潮一脉相承。 # 课程大纲：一条清晰的主线 七个单元，前四个在小规模语言模型预训练上展开（课程强调其能反映更大规模的现象），后三个转向 DNA 领域（近期深度学习最重要的新兴应用域之一）： 1. Basics — 超参数调优与 scaling 2. Optimization 1 — 超参数不变性（如最优学习率对其他超参数的鲁棒性） 3. Optimization 2 — 尖锐与平坦盆地（loss landscape 与泛化的关系） 4. Architecture 1 — 扩展模型容量 5. Architecture 2 — 深度/时间上的稳定性 6. Generalization — 数据高效算法 7. Exotic — 内容保密（“？？？”） 这条线串起了现代深度学习实践中最硬核的几个经验性议题（scaling law、学习率迁移、loss landscape 几何、架构消融、泛化）全部以“亲手实验 + 预测检验”的方式教。 💬 0 🔄 0 ❤️ 0 👀 147 ⚡