#Edgeworth展开

如果你调过 Q-learning 会被初始阶段的大误差困扰，这篇把误差拆成 TD 和最大化两块，告诉你瞬态从哪来、为什么高斯近似够不着。做强化学习理论或想理解算法收敛细节的研究者会很受益。