Oct, 2020

使用对称分裂扩展汉密尔顿蒙特卡洛推断在贝叶斯神经网络中的规模

PDF
TL;DR本文研究了 Hamiltonian Monte Carlo 算法在大数据情况下应用的问题，提出了不依赖随机梯度的新对称积分方案，实现了全数据集的 HMC，并与随机梯度 MCMC 进行了比较。结果表明，该方法在准确性和不确定性量化方面均优于 SG-MCMC，且可应用于大规模机器学习问题的推断方案。
发现论文，激发创造
  • 多层次汉密尔顿蒙特卡罗

    提出了一种新型的两阶段哈密顿蒙特卡罗算法，通过使用一个廉价的可微分代理模型计算接受率，在第二阶段使用高保真度（HF）数值求解器评估后验分布，以高效地逼近后验梯度并产生准确的后验样本，成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制，并在计算后验统计量时保持或改进准确性。

    May, 2024

  • 基于熵的自适应 Hamiltonian Monte Carlo

    本文提出了一种基于梯度的算法，允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵，最大化建议熵的近似值，实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。

    Oct, 2021

  • 利用神经网络泛化哈密顿蒙特卡罗

    本文介绍了一种使用深度神经网络参数化的通用方法来训练 Markov 链蒙特卡洛核，该方法收敛快、混合快，并且我们在一系列简单但具有挑战性的分布中展示了大量的实证收益，并在一个真实的任务中展示了定量和定性的增益：潜变量生成建模。同时，我们还发布了算法的开源 TensorFlow 实现。

    Nov, 2017

  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • 混合离散连续变量的混合哈密顿蒙特卡罗方法

    提出了一种名为 Mixed HMC (M-HMC) 的新型 MCMC 算法，该算法可并行演化离散和连续变量，以解决 HMC 方法不能应用于具有混合离散和连续变量的分布的基本局限性，并在三个实验中证明了 M-HMC 算法优于现有方法的性能。

    Sep, 2019

  • 多步梯度法对 Metropolized Hamiltonian Monte Carlo 的快速混合优势

    本文研究 Hamiltonian Monte Carlo 算法及其变种 Metropolized HMC 在连续空间中从光滑概率密度函数中提取样本的能力，并提供了关于混合时间的理论证明和分析。

    May, 2019

  • 相对论蒙特卡罗

    提出了基于相对论动力学的哈密顿蒙特卡罗方法，通过引入粒子的最大速度解决哈密顿蒙特卡罗在大时间离散化和空间几何不匹配时的性能问题，并开发了基于此的相对论随机梯度下降算法，与深度学习中的优化方法如梯度截断、RMSprop、Adagrad 和 Adam 有趣的关系，实验表明这种算法比经典牛顿变体和 Adam 表现更好。

    Sep, 2016

  • 含哈密顿蒙特卡罗的变分推断

    本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法，并通过实验结果证明了这种方法的理论优势和性能改进。

    Sep, 2016

  • 利用对称性在贝叶斯神经网络中实现有效的 MCMC 采样

    本研究旨在推广利用深度神经网络中的对称性，在保证不影响功能输出的前提下优化贝叶斯推断过程，并进一步给出适当的蒙特卡罗采样次数的上限来捕捉功能多样性，最终成功实现高效的贝叶斯不确定性量化。

    Apr, 2023

  • 磁性哈密顿蒙特卡罗

    本文提出了一种利用非规范汉密尔顿动力学的优化 HMC 方法，称为磁性 HMC，并通过多个实验例子表明其能相对于普通 HMC 方法显著提高混合效果。

    Jul, 2016