Nov, 2018

随机梯度 Langevin 动力学的优缺点

PDF
TL;DR本文研究了基于大规模数据集的贝叶斯学习的关键 MCMC 算法，发现当前常用的 SGLD 算法存在问题，但通过引入控制变量后的 SGLD Fixed Point 算法可以有效改善该问题，且与 Langevin Monte Carlo 算法计算成本相比更低，可为该类应用提供参考。
stochastic gradient langevin dynamicsbayesian learninglarge scale datasetsstochastic gradient descentlangevin monte carlo
发现论文，激发创造
  • SG Langevin 动力学的（非）渐近性质

    我们研究了使用固定步长的随机梯度 Langevin 动力学（SGLD）方法的特点及其偏差，并提出了一个修正的 SGLD 方法，在步长的一阶上消除了由于随机梯度方差引起的渐近偏差，并且得到了有限时间偏差、方差和均方误差（MSE）的界限。

    Jan, 2015

  • 随机梯度 Langevin 动力学的一致性和波动性

    该论文描述了一种处理大数据集的随机梯度 Langevin 动力学方法，该方法使用部分数据集生成建议，跳过接受 - 拒绝步骤并使用逐渐减小的步长序列，并且给出该算法的严格数学解析，包括证明算法是一致的、满足中心极限定理、可以通过显式步长序列的函数表征渐近偏差方差分解以及关于算法调整的实用建议等。

    Sep, 2014

  • 实际中的可扩展自然梯度 Langevin 动力学

    本文比较了不同的预处理方法以规范噪声向量，从混合时间、正则化效果、协变量漂移检测和对抗样本抗干扰性等方面对其进行了评估。

    Jun, 2018

  • 随机梯度朗逊动力学的非凸学习：非渐近分析

    使用加权运输成本不等式来量化 SGLD 在欧几里得 2 - 瓦瑟斯坦距离下收敛到随机分布的速率，并在非凸学习问题的背景下提供有限时间保证来找到两种风险的近似最小化器。

    Feb, 2017

  • 神经网络的自然 Langevin 动力学

    在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

    Dec, 2017

  • 随机梯度 Langevin 扩散中的子采样误差

    在理想版本的 SGLD 之下，该文分析了 SGLD 的纯子采样误差，并将其视为扩散子采样 MCMC 方法的最佳情况下的误差。作者引入和研究了一种连续时间马尔可夫过程 SGLDiff，它在指数等待时间后随数据子集转移，并展示了后验分布与 SGLDiff 极限分布之间的 Wasserstein 距离上限。

    May, 2023

  • 随机梯度 Langevin 动力学的碰撞时间分析

    本文研究了随机梯度 Langevin 动力学（SGLD）算法，针对非凸优化问题，注入适当缩放的高斯噪声来更新参数，我们分析了算法达到参数空间任意子集的的命中时间，从理论上得出结论：对于经验风险最小化，如果经验风险在点值上接近于（平滑的）总体风险，则该算法在多项式时间内实现了总体风险的近似局部最小值，逃离仅存在于经验风险的次优局部最小值。同时，我们还展示了 SGLD 如何改进学习零一损失下线性分类器的已知最佳学习结果之一。

    Feb, 2017

  • 随机梯度 langevin 动力学中的成员隐私特征

    本文从成员隐私保护的角度出发，研究了 SGLD 算法的信息泄露性质，证明了 SGLD 算法能够在一定程度上防止训练数据集的信息泄露，同时实验结果验证了该算法在实际应用中不仅能够减少信息泄露，还能够提高深度神经网络的泛化能力。

    Oct, 2019

  • 低精度随机梯度 Langevin 动力学

    本文研究了低精度随机梯度 Langevin 动力学（SGLD）和其量化方法在深度学习中的应用，发现低精度梯度累积器通过新开发的量化函数可以实现较少的成本和可比的性能。

    Jun, 2022

  • 多峰分布模拟的轮廓随机梯度 Langevin 动力学算法

    本论文提出了一种称为轮廓随机梯度 Langevin 动力学（CSGLD）的自适应加权随机梯度 Langevin 动力学算法，用于 Bayesian 学习在大数据的统计学中。该算法在多模态分布的模拟中具有很大的优势，并测试了 CIFAR10 和 CIFAR100 的性能。

    Oct, 2020