May, 2024

关于时间变化凸函数的二阶梯度下降的稳定性

PDF
TL;DR该研究探讨了基于梯度的优化算法在机器学习应用中的收敛速度、遗憾界限等指标以及其与稳定性保证之间的关系，并提供了更为通用的稳定性保证，以促进实时学习应用的安全可靠部署。
gradient-based optimization algorithmsconvergence ratesregret boundsstability guaranteesreal-time learning applications
发现论文，激发创造
  • 随机梯度下降的稳定性和泛化的精细分析

    本文提供了一种算法 —— 随机梯度下降的稳定性和泛化性的细致分析，通过消除梯度有界性、减轻光滑性和凸性函数的限制，提出了新的稳定性度量，并开发了受 SGD 迭代的风险控制的新型约束，给出了受最佳模型行为影响的泛化范围，从而在低噪声环境下使用稳定性方法得到了第一个快速上界。

    Jun, 2020

  • 非凸优化中随机梯度下降的二阶保证

    本文研究了梯度下降算法在非凸优化问题中的性能保证，发现梯度噪声对逃脱鞍点和到达二阶稳定点的效率起到了关键作用，提出了一个基于均方方法的替代方案来保证梯度噪声的相对方差较小就足以确保逃脱鞍点，而不需要注入其他噪声或采用全局分散噪声假设。

    Aug, 2019

  • 训练更快，泛化更好：随机梯度下降的稳定性

    本文证明使用随机梯度方法训练的参数模型少迭代次数即可实现消失的泛化误差，提供了新的对于随机梯度方法多周期泛化性能好的解释，对于神经网络的训练也有新的稳定性解释。

    Sep, 2015

  • 均匀时间 Wasserstein 稳定性界限用于（带噪）随机梯度下降

    通过将学习理论与应用概率联系起来，引入了一种新的方法来证明随机优化算法的 Wasserstein 稳定性边界，并在强凸损失和带有附加噪声的非凸损失的情况下获得了时间均匀稳定性边界，其不随迭代次数增加而增加，并且证明了 Lyapunov 函数的重要性。

    May, 2023

  • 随机梯度下降的数据相关稳定性

    我们为随机梯度下降（SGD）建立了数据相关的算法稳定性概念，并利用它来开发新的泛化界限；我们的结果表明，在凸和非凸问题中，预筛选初始化是稳定 SGD 的一种简单数据驱动策略，并允许我们展示出乐观的泛化界限。

    Mar, 2017

  • 应对随机鞍点优化中的无界梯度问题

    研究用于找到凸凹函数鞍点的随机一阶方法的性能。我们提出了一种简单有效的正则化技术，稳定迭代并提供有意义的性能保证，即使域和梯度噪声与迭代的大小成线性关系（可能是无界的）。此外，我们还将算法应用于强化学习中的特定问题，在无偏扩展的平均奖励 MDP 中，即使没有先验知识，也能找到接近最优策略的性能保证。

    Feb, 2024

  • 从平均到加速，只有步长

    本文研究了针对非强凸问题的梯度下降、均值梯度下降以及重球法等算法的加速，表明可以将这些算法重新表述为常数参数二阶差分方程算法，并提供了详细的稳定性分析和显式常数的稳定性结果。同时，本文还讨论了噪声梯度情况下的情况，并给出了一种新的算法。

    Apr, 2015

  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • 迭代优化算法的稳定性与收敛折衷

    分析迭代算法的收敛速度与稳定性之间的平衡问题，得出迭代算法总体表现是由最小二乘统计误差下界和稳定性共同决定的结论。以几种收敛速度较快的迭代算法为例，讨论了它们的稳定性上界和下界，并提出一些问题，说明改进收敛速度需要牺牲稳定性的平衡关系。

    Apr, 2018

  • 基于二阶方法的更快差分隐私凸优化

    本文研究了使用一阶和二阶优化方法的隐私保护凸优化问题，其中开发了一种基于正则化的三次牛顿法的私有算法，并在逻辑斯蒂回归问题上获得了性能优越性。

    May, 2023