Aug, 2024

聚焦于特定领域：针对预训练模型的学习优化器

HTML
PDF
TL;DR本研究解决了现有学习优化器在普适性上的不足，通过针对特定训练环境专门设计优化器，提出了一种新的优化技术，该技术能够根据基础优化器提供的更新方向，学习层特定的线性组合。在图像分类任务中，这种专门化优化器显著优于传统的优化方法，如Adam，并且在模型初始化、未见数据集和超出元训练范围的训练时长方面表现出强大的泛化能力。
发现论文，激发创造
  • 学习梯度下降：更好的泛化和更长的视野

    本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和DeepMind的学习优化器，包括深度MLP、CNN和简单的LSTM。

    Mar, 2017

  • 可扩展且泛化的学习优化器

    通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在ImageNet数据集上通过数千步为Inception V3和ResNet V2架构进行了优化。

    Mar, 2017

  • 深度学习优化器的实证比较

    本文证明了优化器比较对超参数调整协议的敏感性，提出探究搜索空间是解释当前文献中最新动态排名的最重要因素之一，并展示实验结果证明了目前广泛使用的自适应梯度方法永远不会劣于动量或梯度下降。

    Oct, 2019

  • 深度学习优化器基准测试-穿越拥挤的山谷

    本文通过对15种深度学习优化器的广泛基准测试，得出以下结论：(i)优化器的性能因任务而异。(ii)使用默认参数评估多个优化器大致与调整单个优化器的超参数一样好。(iii)Adam仍然是一个强有力的竞争者，其它新的方法未能显著并持续地超越它。

    Jul, 2020

  • 任务、稳定性、架构和计算：训练更有效的学习优化器，并使用它们来训练自己

    本文讲述了利用神经网络参数化的层次优化器提供自动正则化的能力，从而可以训练多种问题的通用学习优化器，可适应超参数和架构的变化，且适用于自我训练等需要解决分布问题的任务。

    Sep, 2020

  • 学习优化器的一般化方法

    从泛化为先的角度设计了一种系统，使用新颖的特征、行动和奖励函数学习更新优化器超参数，从而优化神经网络的泛化性能。该系统在所有神经网络任务上优于Adam，并在ImageNet上实现了2倍的加速，在使用比训练任务大5个数量级的计算资源的语言模型任务上实现了2.5倍的加速。

    Jun, 2021

  • 在学习优化器中，内存、计算和性能之间的实际权衡

    本文主要研究了利用学习优化器代替手动设计的优化器来优化机器学习系统，重点探讨了如何平衡模型训练的内存、计算和性能三方面的权衡，并构建了一个更快捷、更高效的学习优化器。

    Mar, 2022

  • VeLO：通过扩展规模训练多功能学习优化器

    通过与深度学习相同的扩展方法，我们训练一种自适应的深度学习优化器。这个优化器是一个小型神经网络，可摄取梯度并输出参数更新，经过数千个TPU月的计算，不需要超参数调整，可以自适应问题进行优化。

    Nov, 2022

  • 学习优化器的训练动态调查

    深度学习中优化的关键问题是通过学习优化器来加速优化过程，但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响，研究并对比手动设计和学习优化器的优缺点，提出了关键见解。

    Dec, 2023

  • 聚焦优化：针对预训练模型的学习型优化器

    本研究针对现有学习型优化器在广泛应用中的不足，提出了一种新的方法，通过专门化优化器来适应特定的训练环境。结果表明，该专门优化器在图像分类任务中显著优于传统优化方法及现有一般学习优化器，且具备良好的泛化能力，对模型初始化与未见数据集的表现尤为突出。

    Aug, 2024