CVPRDec, 2022

基于 Transformer 的学习优化

PDF
TL;DR本文提出了一种新的学习优化方法，其中采用神经网络表示优化器更新步骤的计算，优化器的参数通过训练一组优化任务来学习，以实现高效的最小化。创新之处在于，它是一种新型的神经网络架构，“Optimus”，对学习到的优化器进行了改进，启发自经典的 BFGS 算法。
learned optimizationneural networkoptimizerbfgstransformation
发现论文，激发创造
  • 任务、稳定性、架构和计算：训练更有效的学习优化器，并使用它们来训练自己

    本文讲述了利用神经网络参数化的层次优化器提供自动正则化的能力，从而可以训练多种问题的通用学习优化器，可适应超参数和架构的变化，且适用于自我训练等需要解决分布问题的任务。

    Sep, 2020

  • 可扩展且泛化的学习优化器

    通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

    Mar, 2017

  • Mnemosyne: 使用 Transformers 训练 Transformers

    该研究提出了 Mnemosyne 优化器，使用 Performers 隐式低秩关注 Transformers 学习对整个神经网络架构进行优化，能够广义地训练视觉 Transformers 以及在机器人应用中初始化优化器以实现更快的收敛速度，我们相信这些结果开创了使用 Transformers 构建基础优化模型的可能性，与此同时我们也对 Mnemosyne 使用的紧凑联想记忆进行了广泛的理论分析。

    Feb, 2023

  • TransOpt：用于优化问题分类的基于 Transformer 的表示学习

    我们提出了一种使用基于 Transformer 的神经网络架构对优化问题实例进行表示的方法，并对 Black-box Optimization Benchmarking（BBOB）基准测试中的 24 个问题类别进行了问题分类的训练。我们表明，基于 Transformer 的方法可以以 70％-80％的准确率识别不同问题维度的问题类别，这表明了在获取黑盒优化问题的表示方面应用 Transformer 架构的可能性。

    Nov, 2023

  • 学习优化器的一般化方法

    从泛化为先的角度设计了一种系统，使用新颖的特征、行动和奖励函数学习更新优化器超参数，从而优化神经网络的泛化性能。该系统在所有神经网络任务上优于 Adam，并在 ImageNet 上实现了 2 倍的加速，在使用比训练任务大 5 个数量级的计算资源的语言模型任务上实现了 2.5 倍的加速。

    Jun, 2021

  • 理解和校正学习优化器训练中的病态

    通过对学习到的优化函数进行训练以执行特定任务，我们提出了一种训练方案，它可以比经过调整的一阶方法更快地训练卷积网络，并在测试损失上得到改进。

    Oct, 2018

  • 揭示 Transformer 中的 Mesa 优化算法

    通过逆向工程一系列经过训练的自回归 Transformer，我们发现其通过梯度驱动的学习中的 mesa-optimization 算法也可被改用于解决少样本监督任务，这表明 mesa-optimization 可能是大型语言模型在上下文学习能力方面的基础。此外，我们提出了一种新的自注意层 ——mesa-layer，它能显式、高效地解决上下文中给定的优化问题，并在合成和初步语言建模实验中展现出更好的性能，从而加强了 mesa-optimization 隐藏在训练的 Transformer 网络权重中的重要性的假设。

    Sep, 2023

  • 线性变换器是多功能的上下文学习器

    线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。

    Feb, 2024

  • Transformer 对于上下文中的牛顿法能模拟多好？

    利用线性注意力变换器实现逻辑回归的二阶优化算法，并仅需要对数层数量的误差即可实现 epsilon 误差。

    Mar, 2024

  • Transformers 学会使用预条件的梯度下降进行上下文学习

    通过线性变压器在随机线性回归实例中的全局最小值，我们证明了经过训练的线性变压器的单个关注层实现了预处理的梯度下降的单个迭代，并证明了训练目标的某些临界点实现了 k 次预处理的梯度下降。

    Jun, 2023