具有非牛顿动量的哈密顿动力学用于快速采样
本文介绍了 Hamiltonian Monte Carlo 算法的理论和实践方面,并提出了一些改进,包括使用状态窗口来决定接受或拒绝、使用快速逼近计算轨迹、在轨迹过程中进行调温处理以处理孤立模式和防止无用轨迹占用大量计算时间的快捷方法。
Jun, 2012
该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学,并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外,还提出一种通过从跳字动力学中的采样误差估计自适应设置 E 步中收集的样本数量的方法,使用标准的哈密顿蒙特卡罗 (HMC) 以及新的随机算法,如 SGHMC 和 SGNHT,在合成和真实高维采样场景中表现出强大的性能。
Nov, 2017
本文提出利用一种基于 HMC-within-Gibbs 框架的方法来实现参数的高效子采样,并且利用一个伪边缘 MH 步骤来更新子采样,然后使用基于当前子采样的 HMC 步骤来更新参数,在实验中,我们展示了这种子采样方法的速度和精度,同时还探讨了现有子采样 HMC 算法的局限性。
Aug, 2017
本文研究了 Markov 链蒙特卡罗采样在无监督最大似然学习中的效果,发现使用 ConvNet 势函数训练的最小框架可以实现高质量的短时合成,同时使用正确的 Langevin 噪声调整可以实现长时稳定采样;但使用收敛困难的 MCMC 训练 ConvNet 将导致样本失真。
Mar, 2019
研究了随机梯度 HMC,提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体,以消除噪声梯度的影响,并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。
Feb, 2014
本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论,包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等,旨在提高大数据情况下的效率与稳定性。
May, 2023
我们在本文中提出了 STANLEY,这是一种用于高维数据采样的随机梯度非各向同性 Langevin 动力学方法。通过能量基建模,我们介绍了一种用于改善采样数据质量的端到端学习算法,同时考虑了 EBM 训练中未知的归一化常数和 MCMC 方法。我们的方法 STANLEY 是一种通过我们新提出的 MCMC 方法来训练能量基模型的优化算法,并通过实验证明了其有效性。
Oct, 2023
介绍了哈密尔顿蒙特卡罗方法 (HMC)—— 基于哈密尔顿动力学的一种采样算法,用于从 Gibbs 密度中采样。重点在于 “理想化” 情况,其中能够精确计算连续轨迹,表明理想化 HMC 能保持 π 并在 f 为强凸和光滑时收敛。
Aug, 2021
本文提出基于非可逆分段确定性马尔可夫过程的 Bouncy Particle Sampler 算法,通过在均匀和不均匀 Poisson 过程到达时弹跳并随机扰动速度,使粒子探测兴趣状态空间。经过充分的正则性条件分析,本文证明了该算法的一部分和其相应的速度在空间维度趋于无穷时弱收敛于随机哈密顿蒙特卡罗 (RHMC) 算法。通过耦合思想和 Hypocoercivity 技术,我们还建立了 RHMC 算法在具有有界 Hessian 的强对数凹目标上的无维收敛速率。
Aug, 2018