Feb, 2017

随机梯度 Langevin 动力学的碰撞时间分析

HTML
PDF
TL;DR本文研究了随机梯度 Langevin 动力学（SGLD）算法，针对非凸优化问题，注入适当缩放的高斯噪声来更新参数，我们分析了算法达到参数空间任意子集的的命中时间，从理论上得出结论：对于经验风险最小化，如果经验风险在点值上接近于（平滑的）总体风险，则该算法在多项式时间内实现了总体风险的近似局部最小值，逃离仅存在于经验风险的次优局部最小值。同时，我们还展示了SGLD如何改进学习零一损失下线性分类器的已知最佳学习结果之一。
发现论文，激发创造
  • 随机梯度朗逊动力学的非凸学习: 非渐近分析

    使用加权运输成本不等式来量化SGLD在欧几里得2-瓦瑟斯坦距离下收敛到随机分布的速率，并在非凸学习问题的背景下提供有限时间保证来找到两种风险的近似最小化器。

    Feb, 2017

  • 非凸学习的SGLD泛化界限：两种理论视角

    本文提出了两个理论，分别使用稳定性和PAC-Bayesian结果的非渐进离散时间分析，研究了Stochastic Gradient Langevin Dynamics（SGLD）在非凸目标下的泛化误差，其边界没有隐含依赖于参数的维数、规范或其他容量测量，优美地刻画了非凸设置中“快速训练保证泛化”的现象

    Jul, 2017

  • 基于 Langevin 动力学的非凸优化算法的全局收敛性

    本文提出了强化的 Langevin dynamics 算法和分析框架，理论证明了全局收敛性，能在各自的梯度复杂度内接近极小值。

    Jul, 2017

  • 实际中的可扩展自然梯度 Langevin 动力学

    本文比较了不同的预处理方法以规范噪声向量，从混合时间、正则化效果、协变量漂移检测和对抗样本抗干扰性等方面对其进行了评估。

    Jun, 2018

  • 随机梯度 Langevin 动力学的优缺点

    本文研究了基于大规模数据集的贝叶斯学习的关键MCMC算法，发现当前常用的SGLD算法存在问题，但通过引入控制变量后的SGLD Fixed Point算法可以有效改善该问题，且与Langevin Monte Carlo算法计算成本相比更低，可为该类应用提供参考。

    Nov, 2018

  • 非对数凹采样的随机梯度 Langevin 动力学的更快收敛

    本文提供一种新的收敛分析方法，使用辅助的时间可逆Markov链来分析随机梯度Langevin动力学（SGLD）对一类难以log-concave优化分布进行采样的效果。在目标分布的一定条件下，我们证明了SGLD的收敛速度优于过去的研究成果，并提供了一些关于Langevin算法收敛和快速随机梯度采样算法设计方面的新思路。

    Oct, 2020

  • 使用加性噪声通道属性的噪声迭代算法的概化界限

    本文研究嘈杂迭代算法对机器学习模型泛化性能的影响，并通过与通信和信息理论中发现的加性噪声通道的联系推导出分布相关的泛化上限，得出了对几种应用的见解，包括差分隐私随机梯度下降（DP-SGD）、联邦学习和随机梯度 Langevin 动力学（SGLD）。我们通过数字实验演示了我们的边界，表明它们可以帮助理解神经网络泛化现象的最新经验观察。

    Feb, 2021

  • 低精度随机梯度 Langevin 动力学

    本文研究了低精度随机梯度Langevin动力学（SGLD）和其量化方法在深度学习中的应用，发现低精度梯度累积器通过新开发的量化函数可以实现较少的成本和可比的性能。

    Jun, 2022

  • SGLD的独立于时间的信息论泛化界

    我们提供了一种新的信息理论泛化界限，用于研究随机梯度Langevin动力学（SGLD），在平滑性和耗散性的假设下。我们的界限是独立于时间的，当样本大小增加时会衰减为零，无论迭代次数和步长是否固定。与以前的研究不同，我们通过关注Kullback-Leibler散度的时间演化来推导泛化错误界限，这与数据集的稳定性有关，并且是输出参数和输入数据集之间互信息的上界。此外，我们通过展示SGLD的损失函数是次指数的来建立了第一个信息理论的泛化界限。这种界限也是独立于时间的，并消除了现有工作中的步长依赖问题，通过将我们的分析与现有的非凸优化误差界限相结合，导致改进的超额风险界限。

    Nov, 2023

  • Langevin动力学：通过李雅普诺夫势函数统一优化的视角

    我们研究了使用随机梯度朗之万动力学（SGLD）进行非凸优化的问题。我们采用了一种基于李雅普诺夫势函数和优化的新策略来分析SGLD收敛到全局最小值的情况，将以前关于SGLD的轻微条件转化为基于李雅普诺夫势函数的几何属性。我们提供了在以前研究SGLD进行优化的设置中的改进速度，SGLD的第一个有界梯度复杂性保证以及连续时间朗之万动力学在满足一些适度正则性假设时，离散时间SGLD也能成功的证明。

    Jul, 2024