斯坦福 CS336 第 10 讲：从数学主线讲透 LLM 推理优化

斯坦福 CS336「Language Modeling from Scratch」第 10 讲由 Percy Liang 讲解 Inference，位于 Scaling Laws 两讲之间。讲义以可执行的 sympy 推导形式，沿“自回归无法并行→算术强度低→memory-bound→减少每步搬运字节数”这条链路展开。内容覆盖架构层的 GQA/MLA/量化/剪枝、算法层的投机采样、系统层的连续批处理/分页/前缀共享。Percy 结尾指出 KV cache 是 Transformer 对推理不友好的结构性根源，从第一天为推理设计的架构（SSM、线性注意力、扩散式生成）可能是最大改进空间。视频与讲义均已公开。