NIPSNov, 2017

自适应贝叶斯采样与 Monte Carlo EM

PDF
TL;DR该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学，并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外，还提出一种通过从跳字动力学中的采样误差估计自适应设置 E 步中收集的样本数量的方法，使用标准的哈密顿蒙特卡罗 (HMC) 以及新的随机算法，如 SGHMC 和 SGNHT，在合成和真实高维采样场景中表现出强大的性能。
adaptive samplersmass matricesmonte carlo emhamiltonian monte carlostochastic algorithms
发现论文，激发创造
  • 基于熵的自适应 Hamiltonian Monte Carlo

    本文提出了一种基于梯度的算法，允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵，最大化建议熵的近似值，实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。

    Oct, 2021

  • 具有非牛顿动量的哈密顿动力学用于快速采样

    提出了一种基于 Hamiltonian 动力学的新型采样方法，这种方法通过非牛顿动量在超过状态空间中的确定性动力学下，从指定的能量函数中精确地采样出目标分布，比传统的 MCMC 方法收敛更快且无需随机步骤，并且可以用现有的 ODE 解算器求解。

    Nov, 2021

  • 具有能量守恒子抽样的 Hamiltonian Monte Carlo

    本文提出利用一种基于 HMC-within-Gibbs 框架的方法来实现参数的高效子采样，并且利用一个伪边缘 MH 步骤来更新子采样，然后使用基于当前子采样的 HMC 步骤来更新参数，在实验中，我们展示了这种子采样方法的速度和精度，同时还探讨了现有子采样 HMC 算法的局限性。

    Aug, 2017

  • 我不需要 MCMC：分摊采样用于能量模型的快速稳定训练

    本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

    Oct, 2020

  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • 黎曼流形哈密顿蒙特卡罗

    研究了一种基于 Riemann 流形的 Hamiltonian Monte Carlo 采样算法，通过自适应方法规避了调整提议密度的需求，使得即使在高维状态空间建模中，也能更加高效地采样，该方法在众多实证分析中表现出较大的优越性，Matlab 代码在 http://www.dcs.gla.ac.uk/inference/rmhmc 可复现。

    Jul, 2009

  • 随机梯度单项式 Gamma 采样器

    本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

    Jun, 2017

  • 基于梯度的自适应马尔科夫链蒙特卡罗

    本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗（MCMC）提议分布，应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数，并证明相比传统自适应 MCMC 方法，该方法带有更高的性能；并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵，并证实该方法在 MCMC 算法中表现优异，包括哈密顿蒙特卡罗方案。

    Nov, 2019

  • 随机安全性的计算成本

    本文探讨了使用长时程持续 Chain Monte Carlo 模拟 Langevin 动力学是否能提高能量模型（EBM）所达到的表示质量。通过对训练好的 EBM 执行扩散过程的 Monte Carlo 模拟，并使用改进的对抗鲁棒性和独立分类器网络的校准分数方案，结果表明增加持续对比散度中的 Gibbs 抽样计算预算可以提高模型的校准和对抗鲁棒性，在实现从连续能量势中高效采样的新量子和经典硬件和软件方面具有实用价值。

    May, 2023

  • 使用变分自编码器作为分摊采样器学习基于能量的模型

    通过学习用于初始化 MCMC 的变分自编码器，实现了宏观的 EBM 采样，并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。

    Dec, 2020