May, 2023

随机梯度马尔可夫链蒙特卡罗下的非凸贝叶斯学习

PDF
TL;DR本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。
发现论文，激发创造
  • 通过复制交换随机梯度 MCMC 实现非凸学习

    提出一种自适应的 replica exchange SGMCMC 方法来纠正偏差，并通过在各种设置上的实验测试该算法，在 CIFAR10、CIFAR100 和 SVHN 上取得了卓越的有监督学习和半监督学习任务的结果。

    Aug, 2020

  • 使用方差减少加速复制交换随机梯度马尔科夫链蒙特卡罗方法的收敛时间

    本文提出了一种改进 reSGLD 的方法来加速处理非凸学习，采用方差约减的策略并在 Markov jump process 下进行非渐进的分析，结果表明我们在优化和不确定性预测方面实现了最先进的效果。

    Oct, 2020

  • 随机拟牛顿 Langevin Monte Carlo

    本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法，通过使用拟牛顿优化方法的思想考虑局部几何，并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似，同时保持时间和内存复杂度与问题的维数成线性关系，我们的理论分析表明，该方法在渐近无偏和一致后验期望的同时，实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。

    Feb, 2016

  • 当 Langevin 遇上 Moreau：通过近端马尔可夫链蒙特卡罗方法实现高效贝叶斯计算

    本文介绍了一种新的高效的马尔可夫链蒙特卡洛方法，以执行贝叶斯计算。该方法基于正则化的未调整 Langevin 算法，利用凸分析工具构建具有良好收敛性质的马尔可夫链，扩展了当前采用 Proximal 优化算法解决的模型，并在图像去卷积和断层重建等四个实验中进行了演示和验证。

    Dec, 2016

  • STANLEY：基于随机梯度异向 Langevin 动力学的能量模型学习

    我们在本文中提出了 STANLEY，这是一种用于高维数据采样的随机梯度非各向同性 Langevin 动力学方法。通过能量基建模，我们介绍了一种用于改善采样数据质量的端到端学习算法，同时考虑了 EBM 训练中未知的归一化常数和 MCMC 方法。我们的方法 STANLEY 是一种通过我们新提出的 MCMC 方法来训练能量基模型的优化算法，并通过实验证明了其有效性。

    Oct, 2023

  • 非对数凹和非光滑采样的 Langevin Monte Carlo 算法

    该论文研究了近似采样的问题，特别是非对数凹分布的问题，提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法，并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。

    May, 2023

  • 利用随机梯度下降进行近似贝叶斯推断

    本文从随机过程的角度出发，论证了常数学习率随机梯度下降算法（constant SGD）可用作一种近似贝叶斯推断算法，其可优化模型中的超级参数，同时分析了 Langevin Dynamics 和 Stochastic Gradient Fisher Scoring 的近似误差以及 Polyak 平均算法的最优性。在此基础上，提出了一种可扩展的近似马尔科夫链蒙特卡罗（MCMC）算法，即平均随机梯度采样算法（Averaged Stochastic Gradient Sampler）。

    Apr, 2017

  • 马尔可夫链梯度下降

    本文研究随机梯度下降的变体 —— 马尔科夫链梯度下降算法，并针对非凸问题和不可逆有限状态马尔科夫链等情形，提出可行的非等时收敛证明，并通过实验验证其有效性。

    Sep, 2018

  • 大规模贝叶斯抽样的协方差控制自适应 Langevin 恒温器

    本文提出了一种基于 Langevin 恒温器的自适应协方差控制算法，通过有效地耗散依赖于参数的噪声来维持目标分布，从而实现在机器学习应用中相对于其他方案的大幅加速。

    Oct, 2015

  • 非凸优化的异步随机拟牛顿 MCMC 算法

    本研究开发了一种适用于分布式和共享内存的异步并行随机 L-BFGS 算法，它利用了随机梯度马尔科夫链蒙特卡罗技术的优势，在非凸优化问题中提供了可行性和收敛性的证明，并在多个实验中验证了该算法的优越性能。

    Jun, 2018