May, 2024

视觉任务中二阶指数缩放优化器的统一平衡理论

PDF
TL;DR我们通过使用变量的二阶指数尺度（SMES）的潜在方法，提出了一种统一一阶优化器的可能方法。我们从反向传播开始，解决经典现象（如梯度消失和梯度爆炸），以及与数据集稀疏性相关的问题，引入了优化中的平衡理论。通过这个理论，我们认为可以在更广泛的推论下统一 SGD 和自适应优化器，在第一阶优化器的广义公式中采用变量移动指数尺度来实现平衡方法。我们对一些经典数据集和网络进行了测试，以确认不同平衡系数对整体训练过程的影响。
unifyingoptimizersvariable second-moment exponential scalingback propagationbalance in optimization
发现论文，激发创造
  • 非光滑非凸优化中的随机放缩和动量

    通过在每个时间点对更新进行指数分布随机标量缩放的方式，我们提出的方法对于高度不规则的、非凸非光滑的损失函数在优化神经网络训练中表现出最优的收敛保证。这个结果是通过将在线凸优化算法转化为非凸优化算法的一般框架自然得出的。

    May, 2024

  • 神经网络梯度下降训练中的普适性尺度律

    本文通过对梯度下降训练的神经网络的优化轨迹进行研究，展示了学习轨迹可以用大训练时间的显式渐近特征描述。

    May, 2021

  • 指数和余弦步长的再审视：简易性、适应性和性能

    研究指出指数步长和余弦步长是自适应噪声水平的，不需要知道噪声水平和调整超参数就可以达到几乎最佳性能。探讨了这两种优化策略的收敛速度和表现，实验证明它们最多只需要调整两个超参数就可达到优秀的表现。

    Feb, 2020

  • 关于参数化的二阶优化方法适用于无限宽度

    通过提出一种特定的参数化方式，我们通过一步更新梯度和合适的超参数尺度来提高特征学习的鲁棒性，从而在大规模模型中加速深度神经网络的训练，并实现了更高的泛化性能。

    Dec, 2023

  • 神经缩放法则的动力学模型

    神经网络的表现在训练时间、数据集大小和模型大小上预测性地提高，这一现象被称为神经缩放定律，而计算最优缩放定律则是将性能作为计算单元函数以选择模型大小来报告的；研究表明，神经网络在训练早期以 $1/ extit {width}$ 的速度收敛到无限宽度动力学，但在后期表现为 $ extit {width}^{-c}$ 的速度，其中 $c$ 取决于架构和任务的结构；此外，理论上显示了由于数据的重复重用，训练和测试损失之间的差距可以随时间逐渐增大。

    Feb, 2024

  • 动量算法改进归一化随机梯度下降

    本研究提出使用 momentum 相对于 normalized SGD 来解决 non-convex issues，若 objectives 带有有限的第二导数，采用带的动量公式提高了收敛速度，且适用于大规模任务如 ResNet-50 和 BERT pretraining。

    Feb, 2020

  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • 支持向量机指数收敛速率的案例

    该研究论文研究了分类问题，并介绍了一种简单的机制来获得快速收敛率，以及它在支持向量机中的使用，证明了 SVM 可以展现指数收敛率而不需要假定艰难的 Tsybakov 边缘条件。

    May, 2022

  • 一枚硬币的两面：未调节的 SGD 的局限性和自适应方法的威力

    本文探讨了随机梯度下降法与多项式衰减步长之间的关系，并证明无调谐的随机梯度下降法具有渐进最优的收敛速率，但需要面临指数级的平滑度常数；而规范化 SGD、AMSGrad 和 AdaGrad 方法可以在不知道平滑度参数和随机梯度边界条件的情况下消除梯度爆炸问题。

    May, 2023

  • 批归一化的平均场理论

    我们研究了全连接前馈神经网络的批标准化问题，并提出了一种均值场理论。研究表明，批标准化会导致梯度爆炸，而这种爆炸无法通过调节初始权重方差或调整非线性激活函数来消除。然而，我们可以通过将网络调整到线性区域来减少梯度爆炸，从而提高网络的可训练性。此外，我们还研究了批标准化网络的学习动态。

    Feb, 2019