MMFeb, 2017

随机梯度 Langevin 动力学的碰撞时间分析

PDF
TL;DR本文研究了随机梯度 Langevin 动力学（SGLD）算法，针对非凸优化问题，注入适当缩放的高斯噪声来更新参数，我们分析了算法达到参数空间任意子集的的命中时间，从理论上得出结论：对于经验风险最小化，如果经验风险在点值上接近于（平滑的）总体风险，则该算法在多项式时间内实现了总体风险的近似局部最小值，逃离仅存在于经验风险的次优局部最小值。同时，我们还展示了 SGLD 如何改进学习零一损失下线性分类器的已知最佳学习结果之一。
stochastic gradient langevin dynamicsnon-convex optimizationempirical risk minimizationlocal minimumlinear classifiers
发现论文，激发创造
  • 随机梯度朗逊动力学的非凸学习：非渐近分析

    使用加权运输成本不等式来量化 SGLD 在欧几里得 2 - 瓦瑟斯坦距离下收敛到随机分布的速率，并在非凸学习问题的背景下提供有限时间保证来找到两种风险的近似最小化器。

    Feb, 2017

  • 基于 Langevin 动力学的非凸优化算法的全局收敛性

    本文提出了强化的 Langevin dynamics 算法和分析框架，理论证明了全局收敛性，能在各自的梯度复杂度内接近极小值。

    Jul, 2017

  • 随机梯度 Langevin 动力学的优缺点

    本文研究了基于大规模数据集的贝叶斯学习的关键 MCMC 算法，发现当前常用的 SGLD 算法存在问题，但通过引入控制变量后的 SGLD Fixed Point 算法可以有效改善该问题，且与 Langevin Monte Carlo 算法计算成本相比更低，可为该类应用提供参考。

    Nov, 2018

  • 实际中的可扩展自然梯度 Langevin 动力学

    本文比较了不同的预处理方法以规范噪声向量，从混合时间、正则化效果、协变量漂移检测和对抗样本抗干扰性等方面对其进行了评估。

    Jun, 2018

  • SG Langevin 动力学的（非）渐近性质

    我们研究了使用固定步长的随机梯度 Langevin 动力学（SGLD）方法的特点及其偏差，并提出了一个修正的 SGLD 方法，在步长的一阶上消除了由于随机梯度方差引起的渐近偏差，并且得到了有限时间偏差、方差和均方误差（MSE）的界限。

    Jan, 2015

  • SGLD 的独立于时间的信息论泛化界

    我们提供了一种新的信息理论泛化界限，用于研究随机梯度 Langevin 动力学（SGLD），在平滑性和耗散性的假设下。我们的界限是独立于时间的，当样本大小增加时会衰减为零，无论迭代次数和步长是否固定。与以前的研究不同，我们通过关注 Kullback-Leibler 散度的时间演化来推导泛化错误界限，这与数据集的稳定性有关，并且是输出参数和输入数据集之间互信息的上界。此外，我们通过展示 SGLD 的损失函数是次指数的来建立了第一个信息理论的泛化界限。这种界限也是独立于时间的，并消除了现有工作中的步长依赖问题，通过将我们的分析与现有的非凸优化误差界限相结合，导致改进的超额风险界限。

    Nov, 2023

  • 非凸学习的 SGLD 泛化界限：两种理论视角

    本文提出了两个理论，分别使用稳定性和 PAC-Bayesian 结果的非渐进离散时间分析，研究了 Stochastic Gradient Langevin Dynamics（SGLD）在非凸目标下的泛化误差，其边界没有隐含依赖于参数的维数、规范或其他容量测量，优美地刻画了非凸设置中 “快速训练保证泛化” 的现象

    Jul, 2017

  • 随机梯度 Langevin 动力学的一致性和波动性

    该论文描述了一种处理大数据集的随机梯度 Langevin 动力学方法，该方法使用部分数据集生成建议，跳过接受 - 拒绝步骤并使用逐渐减小的步长序列，并且给出该算法的严格数学解析，包括证明算法是一致的、满足中心极限定理、可以通过显式步长序列的函数表征渐近偏差方差分解以及关于算法调整的实用建议等。

    Sep, 2014

  • 非对数凹采样的随机梯度 Langevin 动力学的更快收敛

    本文提供一种新的收敛分析方法，使用辅助的时间可逆 Markov 链来分析随机梯度 Langevin 动力学（SGLD）对一类难以 log-concave 优化分布进行采样的效果。在目标分布的一定条件下，我们证明了 SGLD 的收敛速度优于过去的研究成果，并提供了一些关于 Langevin 算法收敛和快速随机梯度采样算法设计方面的新思路。

    Oct, 2020

  • 随机梯度 langevin 动力学中的成员隐私特征

    本文从成员隐私保护的角度出发，研究了 SGLD 算法的信息泄露性质，证明了 SGLD 算法能够在一定程度上防止训练数据集的信息泄露，同时实验结果验证了该算法在实际应用中不仅能够减少信息泄露，还能够提高深度神经网络的泛化能力。

    Oct, 2019