Sep, 2020

任务、稳定性、架构和计算：训练更有效的学习优化器，并使用它们来训练自己

PDF
TL;DR本文讲述了利用神经网络参数化的层次优化器提供自动正则化的能力，从而可以训练多种问题的通用学习优化器，可适应超参数和架构的变化，且适用于自我训练等需要解决分布问题的任务。
learned optimizersneural networkautomatic regularizationhyperparametersout-of-distribution tasks
发现论文，激发创造
  • 理解和校正学习优化器训练中的病态

    通过对学习到的优化函数进行训练以执行特定任务，我们提出了一种训练方案，它可以比经过调整的一阶方法更快地训练卷积网络，并在测试损失上得到改进。

    Oct, 2018

  • 可扩展且泛化的学习优化器

    通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

    Mar, 2017

  • 在学习优化器中，内存、计算和性能之间的实际权衡

    本文主要研究了利用学习优化器代替手动设计的优化器来优化机器学习系统，重点探讨了如何平衡模型训练的内存、计算和性能三方面的权衡，并构建了一个更快捷、更高效的学习优化器。

    Mar, 2022

  • 学习优化器的训练动态调查

    深度学习中优化的关键问题是通过学习优化器来加速优化过程，但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响，研究并对比手动设计和学习优化器的优缺点，提出了关键见解。

    Dec, 2023

  • 学习优化器的一般化方法

    从泛化为先的角度设计了一种系统，使用新颖的特征、行动和奖励函数学习更新优化器超参数，从而优化神经网络的泛化性能。该系统在所有神经网络任务上优于 Adam，并在 ImageNet 上实现了 2 倍的加速，在使用比训练任务大 5 个数量级的计算资源的语言模型任务上实现了 2.5 倍的加速。

    Jun, 2021

  • 学习梯度下降：更好的泛化和更长的视野

    本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和 DeepMind 的学习优化器，包括深度 MLP、CNN 和简单的 LSTM。

    Mar, 2017

  • 通过梯度下降学习梯度下降

    本文探讨了使用 LSTMs 将优化算法设计转化为学习问题的方法，其中，通过让算法自动地利用感兴趣的问题中的结构，得出的学习算法在针对特定任务时比手动设计的算法表现更好，同时在具有相似结构的新任务上也具有很好的泛化性能，其应用范围从简单的凸问题，到神经网络训练和图像风格化等多种任务。

    Jun, 2016

  • 强化学习优化的学习

    本篇文章研究了一种数据驱动的元学习方法，使用此方法可以训练出一个能够优化强化学习的通用优化器，而且可以应用于复杂任务。这个优化器的结构大大提高了学习优化器的训练效率，并且已经证明其能够泛化到未知的复杂任务。

    Feb, 2023

  • HUB: 通过连续提示调整指导学习优化器

    为了解决学习优化器广泛采用上的一些问题，研究提出了一种混合更新的优化策略，结合了手动设计的优化器，它稳定了训练过程，提高了测试性能，经过 17 项任务验证证明了它的优越性。

    May, 2023

  • 基于 Transformer 的学习优化

    本文提出了一种新的学习优化方法，其中采用神经网络表示优化器更新步骤的计算，优化器的参数通过训练一组优化任务来学习，以实现高效的最小化。创新之处在于，它是一种新型的神经网络架构，“Optimus”，对学习到的优化器进行了改进，启发自经典的 BFGS 算法。

    Dec, 2022