NIPSOct, 2016

关于带高阶积分器的随机梯度 MCMC 算法的收敛性问题

PDF
TL;DR本文研究采用高阶积分器的随机梯度 MCMC 算法的有限时间收敛性和渐近不变测度，结果表明采用 2 阶积分器的 SGHMC 在 $L$ 次迭代后，其后验平均的均方误差（MSE）达到 $L^{-4/5}$ 的最佳收敛速度。同时，我们还开发出一种能够在固定或特定递减步长下实现该收敛速度的收敛方法，并在实验中验证了其在大规模应用中的优越性。
bayesian learningstochastic gradient mcmc algorithmsfinite-time convergence propertieshigh-order integratorsmean square error
发现论文，激发创造
  • 用于深度模型的贝叶斯学习的高阶随机梯度热力控制器

    提出一种使用高效对称分裂积分器的多元随机梯度 NHT 采样方法，以更准确、稳健和更快地收敛于深度贝叶斯模型的目标后验分布。

    Dec, 2015

  • 交替方向 SGHMC 算法的收敛性分析

    我们研究了具有跳跃点积分的 Hamiltonian Monte Carlo 算法在目标分布的随机梯度神谕上的收敛速率。我们的方法通过 Alternating Directions 的新颖步骤，扩展了标准 HMC 算法的使用范围，使其能够使用一般辅助分布。在此基础上，我们基于驱动算法的底层马尔可夫链的狄利克雷形式的研究进行收敛分析。为此，我们对具有一般形式的动能和势能函数的 Hamilton 运动的 leapfrog 积分器的误差进行了详细分析。我们表征了收敛速率对问题维度、目标和辅助分布的函数特性以及神谕的质量等关键参数的明确依赖关系。

    May, 2024

  • 随机拟牛顿 Langevin Monte Carlo

    本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法，通过使用拟牛顿优化方法的思想考虑局部几何，并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似，同时保持时间和内存复杂度与问题的维数成线性关系，我们的理论分析表明，该方法在渐近无偏和一致后验期望的同时，实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。

    Feb, 2016

  • 随机梯度 Langevin 动力学的一致性和波动性

    该论文描述了一种处理大数据集的随机梯度 Langevin 动力学方法，该方法使用部分数据集生成建议，跳过接受 - 拒绝步骤并使用逐渐减小的步长序列，并且给出该算法的严格数学解析，包括证明算法是一致的、满足中心极限定理、可以通过显式步长序列的函数表征渐近偏差方差分解以及关于算法调整的实用建议等。

    Sep, 2014

  • SG Langevin 动力学的（非）渐近性质

    我们研究了使用固定步长的随机梯度 Langevin 动力学（SGLD）方法的特点及其偏差，并提出了一个修正的 SGLD 方法，在步长的一阶上消除了由于随机梯度方差引起的渐近偏差，并且得到了有限时间偏差、方差和均方误差（MSE）的界限。

    Jan, 2015

  • 随机梯度 Langevin 动力学的优缺点

    本文研究了基于大规模数据集的贝叶斯学习的关键 MCMC 算法，发现当前常用的 SGLD 算法存在问题，但通过引入控制变量后的 SGLD Fixed Point 算法可以有效改善该问题，且与 Langevin Monte Carlo 算法计算成本相比更低，可为该类应用提供参考。

    Nov, 2018

  • 高阶 Langevin 拓扑在 Markov Chain Monte Carlo 算法中的加速

    提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法，用于采样具有对数凹和平滑密度函数的分布，并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件

    Aug, 2019

  • 随机梯度 MCMC 与随机优化之间的桥梁

    本文探讨了随机梯度马尔可夫链蒙特卡罗算法与随机优化算法之间的关系，并通过应用模拟退火算法对 SGMCMC 算法进行了扩展，提出了一种具有自适应元素动量权重的新型随机优化方法，并针对多个深度神经网络模型进行试验，得到与相关随机优化算法相比最先进的结果。

    Dec, 2015

  • 随机梯度单项式 Gamma 采样器

    本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

    Jun, 2017

  • 通过随机梯度巴克动力学实现鲁棒的近似采样

    此研究介绍了随机梯度贝克动力学（SGBD）算法，通过扩展最近开发的贝克马尔科夫链蒙特卡洛（MCMC）方案为随机梯度框架，实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明，相比流行的随机梯度 Langevin 动力学算法，SGBD 在超参数调整和目标梯度的不规则行为方面表现更为稳健。

    May, 2024