ICLROct, 2021
通过隐式微分实现高维度权重更新超参数的可扩展单遍优化
Scalable One-Pass Optimisation of High-Dimensional Weight-Update Hyperparameters by Implicit Differentiation
Ross M. Clarke, Elre T. Oldewage, José Miguel Hernández-Lobato
TL;DR本文提出了一种基于近似超梯度的超参数优化方法,适用于任何连续的超参数出现在可微模型的权重更新中,只需一次训练,无需重新启动。该方法可以对每个模型参数进行可操作的基于梯度的学习率优化,性能竞争力强,在多个数据集上运行良好。