ICLROct, 2021

通过隐式微分实现高维度权重更新超参数的可扩展单遍优化

TL;DR本文提出了一种基于近似超梯度的超参数优化方法,适用于任何连续的超参数出现在可微模型的权重更新中,只需一次训练,无需重新启动。该方法可以对每个模型参数进行可操作的基于梯度的学习率优化,性能竞争力强,在多个数据集上运行良好。