- 未调整的 Hamilton 蒙特卡罗混合时间保证
该论文提出了一种上调和蒙特卡洛算法(uHMC),并提供了关于其马尔科夫链混合时间、总变差距离等指标的上限,证明了可在 log 级别的时间内实现精度为 ε 的近似目标分布,最终证明在两种模型下该算法的成功耦合可以实现这些上限。
- 贝叶斯神经网络的后验分布是什么样子的?
研究表明, 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能,并证明模型中选择的先验分布对性能的影响较小,但相比于深度集成、SGLD 等计算代价较小的方法,HMC 呈现出更接近于精确后验分布的预测分布;同时,研究发现贝叶斯神经网 - 评估引理中点积分器在黎曼流形哈密尔顿蒙特卡罗中的应用
本文比较了广义 leapfrog integrator 和 implicit midpoint integrator 在 Hamiltonian Monte Carlo 中的优缺点和理论性质,并通过实验证明 implicit midpoin - 使用对称分裂扩展汉密尔顿蒙特卡洛推断在贝叶斯神经网络中的规模
本文研究了 Hamiltonian Monte Carlo 算法在大数据情况下应用的问题,提出了不依赖随机梯度的新对称积分方案,实现了全数据集的 HMC,并与随机梯度 MCMC 进行了比较。结果表明,该方法在准确性和不确定性量化方面均优于 - B-PINNs: 带有噪声数据的前向和反向 PDE 问题的贝叶斯物理信息神经网络
提出一个贝叶斯物理知识推断神经网络(B-PINN)框架,结合贝叶斯神经网络(BNN)和偏微分方程参数复合神经网络(PINN)以解决由偏微分方程和噪声数据描述的前向和反向非线性问题,并进行不确定性量化和 posterior 分布估计。
- 自由还是深度:深度贝叶斯神经网络不需要复杂的权重后验逼近
通过理论证明和实验证明,我们挑战了长期以来人们对于贝叶斯神经网络变分推断中均场近似的局限性的假设,并表明在深度网络中并非如此。我们的结果表明,在复杂变分先验代价高且难以实现的情况下,使用均场变分推断在更深的模型中是一种实用且理论上可行的替代 - 高斯过程全贝叶斯回归的近似推理
本文介绍了高斯过程模型中两种推断超参数后验分布的方法,一种是哈密顿蒙特卡罗(HMC)求解采样近似,另一种是变分推断(VI),其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布,该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预 - 基于梯度的自适应马尔科夫链蒙特卡罗
本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗(MCMC)提议分布,应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数,并证明相比传统自适应 MCMC 方法,该方法带有更高的性能;并应用于多元随机步长 Metr - 混合离散连续变量的混合哈密顿蒙特卡罗方法
提出了一种名为 Mixed HMC (M-HMC) 的新型 MCMC 算法,该算法可并行演化离散和连续变量,以解决 HMC 方法不能应用于具有混合离散和连续变量的分布的基本局限性,并在三个实验中证明了 M-HMC 算法优于现有方法的性能。
- MM多步梯度法对 Metropolized Hamiltonian Monte Carlo 的快速混合优势
本文研究 Hamiltonian Monte Carlo 算法及其变种 Metropolized HMC 在连续空间中从光滑概率密度函数中提取样本的能力,并提供了关于混合时间的理论证明和分析。
- 强对数凹分布的哈密顿蒙特卡罗优化收敛速率
研究了用于采样强对数凹密度的哈密顿蒙特卡罗方法在实现时,理想状态下的弛豫时间是 O (κ) 时,其松弛时间(谱间隙的倒数)是 O (κ),这比之前最好的上限 O (κ^1.5) 更优。当使用近乎最优的 ODE 求解器实现时,每一步需要进行 - 利用神经传输中和哈密顿蒙特卡罗中的不良几何形状
本文提出了一种名为神经传输(NeuTra)的方法,使用自回归流(IAF)学习校正糟糕拒后几何结构的 Hamiltonian Monte Carlo (HMC)采样过程,并在各种合成和真实问题上评估了 NeuTra HMC 的性能。结果发现, - 常数条件下对数凹密度的常微分方程算法理论与采样
本文提出了一种近似线性的多元常微分方程算法,用于解决样本采集问题,特别是针对 Hamiltonian Monte Carlo 的多维 logconcave 密度函数,拥有多项式对数深度。
- 哈密顿变分自编码器
利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder(HVAE)模型,可以用于高效地进行变分自编码器模型训练,并构建目标受控的归一化流 - Hamiltonian Monte Carlo 的耦合与收敛
通过一种新的耦合方法,我们证明了 Hamiltonian Monte Carlo 算法的转换步对于经过精心设计的 Kantorovich(L1Wasserstein)距离是收缩的。 收敛速率的下界是明确的,全局凸性不是必需的,因此包括多模式 - 加速 MCMC 算法
本研究使用 Markov chain Monte Carlo 算法通过局部探索复杂的统计分布进行模拟,加速收敛的技术包括 tempering 和 Hamiltonian Monte Carlo 等方法。
- 二阶哈密顿蒙特卡洛维度紧致界
本文研究哈密顿蒙特卡罗方法在采样强对数凹目标分布时的收敛速度,提出了一个比传统李普希茨海森常数条件更宽松的第三阶正则条件,并证明了二阶 “跳跃点” 算法的收敛速度为 $d^{1/4}$,并在合成数据的仿真实验中得到了验证。
- ICLR利用神经网络泛化哈密顿蒙特卡罗
本文介绍了一种使用深度神经网络参数化的通用方法来训练 Markov 链蒙特卡洛核,该方法收敛快、混合快,并且我们在一系列简单但具有挑战性的分布中展示了大量的实证收益,并在一个真实的任务中展示了定量和定性的增益:潜变量生成建模。同时,我们还发 - NIPS自适应贝叶斯采样与 Monte Carlo EM
该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学,并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外,还提出一种通 - 在强对数凹分布上快速混合的哈密尔顿蒙特卡罗算法
本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能,并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。