AlignedHPO:梯度对齐引导的可微损失超参数优化框架
训练里调 Focal Loss、ArcFace margin 这类损失参数太费时间的话,这篇给了个基于梯度对齐的自动方案,比 implicit differentiation 快近 12 倍,长尾分类和人脸识别都有实验结果,做训练优化的工程团队可以直接看。
训练里调 Focal Loss、ArcFace margin 这类损失参数太费时间的话,这篇给了个基于梯度对齐的自动方案,比 implicit differentiation 快近 12 倍,长尾分类和人脸识别都有实验结果,做训练优化的工程团队可以直接看。