斯坦福 CS312 课程：深度学习实验方法论与实操

斯坦福大学 2026 秋季课程 CS 312「Deep Learning Alchemy」，课程资料和视频会全部公开！

课程由 Tatsunori Hashimoto @tatsu_hashimoto 和 Suhas Kotha @kothasuhas 主讲，它是深度学习“实验方法论”课，现有课程体系里几乎无人系统教授：如何设计、运行、并预判深度学习实验。

Stanford CS 312: Deep Learning Alchemy https://deep-learning-alchemy.github.io/

课程设计的核心主张

"Alchemy is learned by hand"（炼金术只能亲手学会）。 课程直言：许多教科书教给你的心智模型缺乏实证支持；它点名了经典的偏差-方差权衡，指出这类理论在今天的 scaling 时代已经失效。深度学习尚未形成成熟理论，仅靠数学功底不足以发明下一代架构。结论是：没有替代方案，只能大量亲手做实验，在“计算上可行的实验域”里积累真实的经验直觉。

"Prediction is understanding"（能预测才算理解）。 这是全课最鲜明的观点。它把“理解”操作化地定义为：在实验跑出来之前，能准确预测它的结果。这直接体现在课程考核方式上。这个理念与近年来“深度学习的科学化”（将 DL 作为实验科学来研究）的思潮一脉相承。

课程大纲：一条清晰的主线

七个单元，前四个在小规模语言模型预训练上展开（课程强调其能反映更大规模的现象），后三个转向 DNA 领域（近期深度学习最重要的新兴应用域之一）：

1. Basics — 超参数调优与 scaling 2. Optimization 1 — 超参数不变性（如最优学习率对其他超参数的鲁棒性） 3. Optimization 2 — 尖锐与平坦盆地（loss landscape 与泛化的关系） 4. Architecture 1 — 扩展模型容量 5. Architecture 2 — 深度/时间上的稳定性 6. Generalization — 数据高效算法 7. Exotic — 内容保密（“？？？”）

这条线串起了现代深度学习实践中最硬核的几个经验性议题（scaling law、学习率迁移、loss landscape 几何、架构消融、泛化）全部以“亲手实验 + 预测检验”的方式教。