可扩展且泛化的学习优化器

ICMLMar, 2017

Learned Optimizers that Scale and Generalize

Olga Wichrowska, Niru Maheswaranathan, Matthew W. Hoffman, Sergio Gomez Colmenarejo, Misha Denil...

TL;DR通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

Abstract

learning to learn has emerged as an important direction for achieving artificial intelligence. Two of the primary barriers to its adoption are an inability to scale to larger problems and a limited ability to generalize to new tasks. We introduce a learned →

learning to learn gradient descent optimizer hierarchical rnn meta-training imagenet

发现论文，激发创造

学习优化器的一般化方法

从泛化为先的角度设计了一种系统，使用新颖的特征、行动和奖励函数学习更新优化器超参数，从而优化神经网络的泛化性能。该系统在所有神经网络任务上优于 Adam，并在 ImageNet 上实现了 2 倍的加速，在使用比训练任务大 5 个数量级的计算资源的语言模型任务上实现了 2.5 倍的加速。

Jun, 2021

任务、稳定性、架构和计算：训练更有效的学习优化器，并使用它们来训练自己

本文讲述了利用神经网络参数化的层次优化器提供自动正则化的能力，从而可以训练多种问题的通用学习优化器，可适应超参数和架构的变化，且适用于自我训练等需要解决分布问题的任务。

Sep, 2020

VeLO：通过扩展规模训练多功能学习优化器

通过与深度学习相同的扩展方法，我们训练一种自适应的深度学习优化器。这个优化器是一个小型神经网络，可摄取梯度并输出参数更新，经过数千个 TPU 月的计算，不需要超参数调整，可以自适应问题进行优化。

Nov, 2022

学习梯度下降：更好的泛化和更长的视野

本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和 DeepMind 的学习优化器，包括深度 MLP、CNN 和简单的 LSTM。

Mar, 2017

强化学习优化的学习

本篇文章研究了一种数据驱动的元学习方法，使用此方法可以训练出一个能够优化强化学习的通用优化器，而且可以应用于复杂任务。这个优化器的结构大大提高了学习优化器的训练效率，并且已经证明其能够泛化到未知的复杂任务。

Feb, 2023

理解和校正学习优化器训练中的病态

通过对学习到的优化函数进行训练以执行特定任务，我们提出了一种训练方案，它可以比经过调整的一阶方法更快地训练卷积网络，并在测试损失上得到改进。

Oct, 2018

通过梯度下降学习梯度下降

本文探讨了使用 LSTMs 将优化算法设计转化为学习问题的方法，其中，通过让算法自动地利用感兴趣的问题中的结构，得出的学习算法在针对特定任务时比手动设计的算法表现更好，同时在具有相似结构的新任务上也具有很好的泛化性能，其应用范围从简单的凸问题，到神经网络训练和图像风格化等多种任务。

Jun, 2016

使用已学习优化器使模型对输入噪声具有鲁棒性

通过元训练学习的优化器对图像分类模型进行训练，以使其对常见图像污染更加健壮，并且发现这种方法提供了一种有效的改善深度学习模型鲁棒性的方法。

Jun, 2019

黑盒优化的元学习

本文提出了一种基于 RNN 的优化器 RNN-Opt，并使用合成非凸函数直接使用折扣遗憾作为元学习损失函数来训练，该方法可有效地优化具有限制预算的单目标连续函数。

Jul, 2019

用梯度下降训练学无梯度下降的学习

通过比较基于贝叶斯优化的算法，我们研究了在简单合成函数上训练的循环神经网络优化器的性能，发现这些训练后的优化器在不同的黑盒函数优化、超参数整定和全局优化基准测试中表现优异。

Nov, 2016