随机梯度 MCMC 的完整配方

Jun, 2015

A Complete Recipe for Stochastic Gradient MCMC

Yi-An Ma, Tianqi Chen, Emily B. Fox

TL;DR本文提供了一种基于连续马尔可夫过程的通用配方，用于构建包括随机梯度版本的 MCMC 采样器，并提出了一种新的状态自适应采样器：随机梯度 Riemann Hamiltonian Monte Carlo (SGRHMC)。通过实验证明，该算法继承了 Riemann HMC 的优点，并具有可扩展性。

Abstract

Many recent markov chain monte carlo (MCMC) samplers leverage continuous dynamics to define a transition kernel that efficiently explores a target distribution. In tandem, a focus has been on devising scalable variants that subsample the data and use stochastic gradients in place of fu

markov chain monte carlo stochastic gradient continuous markov processes riemann hamiltonian monte carlo scalability

发现论文，激发创造

随机梯度哈密尔顿蒙特卡罗

研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

Feb, 2014

随机梯度单项式 Gamma 采样器

本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

Jun, 2017

通过随机梯度巴克动力学实现鲁棒的近似采样

此研究介绍了随机梯度贝克动力学（SGBD）算法，通过扩展最近开发的贝克马尔科夫链蒙特卡洛（MCMC）方案为随机梯度框架，实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明，相比流行的随机梯度 Langevin 动力学算法，SGBD 在超参数调整和目标梯度的不规则行为方面表现更为稳健。

May, 2024

连续时间切换动态系统的马尔可夫链蒙特卡罗方法

该文提出了一种基于马尔科夫链蒙特卡罗方法的新型推断算法，用于在连续时间模型中获得精确的后验过程的样本，实现了贝叶斯参数估计，并估计了扩散协方差。

May, 2022

随机拟牛顿 Langevin Monte Carlo

本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法，通过使用拟牛顿优化方法的思想考虑局部几何，并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似，同时保持时间和内存复杂度与问题的维数成线性关系，我们的理论分析表明，该方法在渐近无偏和一致后验期望的同时，实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。

Feb, 2016

分段确定性马尔可夫链蒙特卡罗

本文介绍了一种新的基于非可逆马尔可夫链蒙特卡洛算法的类别，利用连续时间分段确定性马尔可夫过程。这些算法基于确定性动力学演化标记过程的状态，同时利用马尔可夫转移核来改变其状态。通过使用这些算法，只有子集状态被更新，导致其他组件的状态隐含不显，另外，利用无偏估计对数目标时，这些算法保持目标不变。本文提出新的 MCMC 方法来解决这些限制，并在多种应用中展示了这些方案的性能。

Jul, 2017

隐马尔可夫模型的随机梯度马尔可夫链蒙特卡罗方法

开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法，通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战，进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。

Jun, 2017

随机梯度马尔可夫链蒙特卡洛

本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗（SGMCMC）的可扩展蒙特卡罗算法，其利用数据子抽样技术降低了 MCMC 的迭代成本，并比较了其效率与 MCMC 在基准示例上的异同。

Jul, 2019

随机梯度 MCMC 的元学习

本文提出了第一个元学习算法，可以自动设计 SG-MCMC 采样器的连续动力学，学习的采样器泛化了 Hamiltonian 动力学，并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证，表明学习采样器优于通用手动设计的 SG-MCMC 算法，并且可以推广到不同的数据集和更大的架构。

Jun, 2018

基于梯度的自适应马尔科夫链蒙特卡罗

本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗（MCMC）提议分布，应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数，并证明相比传统自适应 MCMC 方法，该方法带有更高的性能；并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵，并证实该方法在 MCMC 算法中表现优异，包括哈密顿蒙特卡罗方案。

Nov, 2019