Feb, 2024

逻辑损失的大步梯度下降：损失的非单调性提高了优化效率

HTML
PDF
TL;DR使用常数步长的梯度下降算法应用于线性可分数据的逻辑回归，证明了在初始震荡阶段后，算法能够在a步的时间内实现O(1/(aT))的收敛速率，从而在总步数为T的情况下，通过积极地调整步长可以达到O(1/T^2)的加速损失，无需使用动量或变化的步长调度器。
发现论文，激发创造
  • 可分数据上梯度下降的收敛性

    对采用严格单调尾部的损失函数（如对数损失）在可分离数据集上利用梯度下降时的隐式偏差进行了详细研究，证明了对于一大类超多项式尾部损失，梯度下降迭代可以收敛到任意深度的线性网络的L2最大边距解。

    Mar, 2018

  • 自适应步长随机梯度下降算法的收敛性

    通过研究广义AdaGrad步长在凸和非凸设置中，本文证明了这些步长实现梯度渐近收敛于零的充分条件，从而填补了这些方法理论上的空白。此外，本文表明这些步长允许自动适应随机梯度噪声级别在凸和非凸情况下，实现O（1/T）到O（1/根号T）的插值（带有对数项）。

    May, 2018

  • 可分离数据上的随机梯度下降：固定学习率的精确收敛

    本文探讨了采用SGD 进行机器学习的收敛性问题，特别是在采用线性可分数据及单调函数损失函数的情况下，证明了 SGD 在固定非零学习率的条件下可以收敛至零损失，对于分类问题中的单调函数损失函数（例如对数损失），每次迭代权重向量趋向于$L_2$最大裕度向量，且损失以$O(1/t)$的速率收敛。

    Jun, 2018

  • SGD 对超参数模型的更快收敛和快速收敛，及加速感知器

    通过研究表明，在现代机器学习中，采用具有极高表现力的模型进行训练，可以实现完全拟合或内插数据，从而得到零训练损失。我们证明，采用恒定步长随机梯度下降法（SGD）与Nesterov加速法具有相同的收敛速度，适用于凸和强凸函数。同时，我们发现，SGD可以在非凸情况下像全梯度下降法一样高效地找到一阶稳定点。最后，我们通过对合成和真实数据集的实验验证了我们的理论发现。

    Oct, 2018

  • 过度参数化的非线性学习: 梯度下降是否走过了最短路径?

    该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

    Dec, 2018

  • 梯度下降遵循普通损失的正则化路径

    本论文研究了机器学习中隐含的偏差及其对应的正则化解，并且根据理论证明我们使用的指数型损失函数的正则化效果，可达到最大保边缘的方向，相应的其他损失函数可能会导致收敛于边缘较差的方向。

    Jun, 2020

  • 在稳定边缘处进行逻辑回归的梯度下降隐含偏差

    本文研究了边缘稳定性（EoS）中逻辑回归上梯度下降（GD）的收敛和隐式偏差情况，证明任何恒定步长的非单调GD迭代可以在较长时间尺度上最小化逻辑损失，并在最大间隔方向上趋于正无穷，在最大间隔方向的正交补上收敛于最小化强凸势能的固定向量，而指数损失可能导致GD迭代在EoS区域内灾难性发散。

    May, 2023

  • 通过长步长可证明更快的梯度下降算法

    本研究利用计算机辅助分析技术，建立了梯度下降的收敛速度证明，并通过分析多次迭代的总体效果，描述了长步策略可能违反下降性质但能实现更快的收敛速度。

    Jul, 2023

  • 非可分数据和大步长情况下的逻辑回归梯度下降

    研究了使用大的恒定步长的逻辑回归问题上的梯度下降（GD）动态。

    Jun, 2024

  • 非齐次双层网络的大步长梯度下降法：边界改善与快速优化

    神经网络的大步梯度下降（GD）训练通常包括两个不同的阶段，第一阶段中经验风险震荡，而第二阶段中经验风险单调下降。我们研究了满足近准同质条件的两层网络中的这一现象。我们展示第二阶段开始于经验风险低于特定阈值（依赖于步长）的时刻。此外，我们展示了归一化边界在第二阶段几乎单调增长，证明了GD在训练非同质预测器时的内在偏差。如果数据集线性可分且激活函数的导数不为零，我们证明平均经验风险下降，暗示第一阶段必须在有限步骤中停止。最后，我们展示选择合适大步长的GD在经历这种阶段过渡时比单调降低风险的GD更高效。我们的分析适用于任意宽度的网络，超出了众所周知的神经切线核和平均场范围。

    Jun, 2024