- 交替方向 SGHMC 算法的收敛性分析
我们研究了具有跳跃点积分的 Hamiltonian Monte Carlo 算法在目标分布的随机梯度神谕上的收敛速率。我们的方法通过 Alternating Directions 的新颖步骤,扩展了标准 HMC 算法的使用范围,使其能够使用 - 多层次汉密尔顿蒙特卡罗
提出了一种新型的两阶段哈密顿蒙特卡罗算法,通过使用一个廉价的可微分代理模型计算接受率,在第二阶段使用高保真度(HF)数值求解器评估后验分布,以高效地逼近后验梯度并产生准确的后验样本,成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制, - 具有软不等式约束和单调性约束的高斯过程回归
引入了一个新的高斯过程模型,该模型通过量子启发的哈密顿蒙特卡罗方法来强制约束物理条件,从而提高准确性并减小方差。实验证明,在多个数据集上,该方法加速采样过程并保持准确性,适用于高维问题。
- 基于哈密尔顿蒙特卡洛的贝叶斯不确定性估计:应用于心脏 MRI 分割
基于深度学习的医学图像分割在许多任务上达到了最先进的性能。然而,最近的研究表明深度神经网络可能会出现错误校准和过度自信的问题,从而导致临床应用中的潜在失败。贝叶斯统计提供了一种直观的方法来检测深度学习的失败,基于后验概率估计。然而,对于大规 - 图卷积神经网络模型下演化过程的不确定性量化
神经网络模型在科学机器学习任务中的应用近年来已大量增加。尤其是,在建模具有时空复杂性的过程方面,神经网络模型表现出色。然而,这些高度参数化的模型在产生与感兴趣的区域保持定量化误差界限方面引起了怀疑。因此,有必要寻找适用于神经网络的不确定性量 - 去除置换对称性的贝叶斯神经网络紧凑表示
该论文提出了一种基于贝叶斯神经网络的方法,使用 Hamitonian Monte Carlo 采样和 rebasin 方法,对神经网络的权重进行可解释的不确定性估计,从而实现了采样方法和变分推断的统一,可以直接比较不同采样方法和变分推断训练 - 探索贝叶斯决策树后验的 RJHMC 树
使用贝叶斯方法从数据中学习决策树是一项具有挑战性的任务,本文研究了使用 Hamiltonian Monte Carlo 方法来更高效地探索贝叶斯决策树的后验概率,并通过与标准数据集的比较展示了其在预测测试准确率、接受率和树复杂度方面的优势。
- 直接摊销似然比估计
我们引入了一种新的摊销似然比估计器,用于无似然模拟推理(SBI),引入了一种称为直接神经比率估计器(DNRE)的模型,对先前的方法进行了改进,并在文献中与其他估计器进行了比较,同时实现了一个新的导数估计器,使得我们可以比较无似然哈密顿蒙特卡 - 基于 HMC-pCN 采样方法的带有 SA-Roundtrip 先验的贝叶斯成像反问题
一种使用深度生成先验进行贝叶斯推断的新方法,该方法通过引入具有自注意力结构的双向生成对抗网络的 SA-Roundtrip 先验,在低维潜在空间中应用具有预条件 Crank-Nicolson 算法的 Hamiltonian Monte Car - 自适应哈密顿蒙特卡洛加速采样
基于损失函数自适应地调整参数,通过梯度驱动学习计算积分步数的分布,加上随机性以实现平滑的损失函数曲面,将该方法应用于哈密顿蒙特卡罗算法,优化得到与自相关时间相对应的参数。
- SpreadNUTS-- 无 U 转噬取样的路径适度动态延伸和区域划分
本文介绍了一种针对 Hamiltonian Monte Carlo (HMC) 算法中 no-U-turn sampler (NUTS) 进行改进的方法,以实现更快的收敛速度。
- 基于模型的验证作为概率推理
使用基于贝叶斯推断的模型方法来估计序列系统的失效轨迹,使用自动微分计算轨迹梯度并使用 Hamiltonian Monte Carlo 采样方法进行多模式捕捉和平滑处理,该方法在自主驾驶车辆、倒置摆控制系统和部分可观察月球着陆器实现,结果显示 - 高维度不确定性量化的贝叶斯深度学习框架
本研究提出了一种基于贝叶斯神经网络和哈密顿蒙特卡罗的新型深度学习方法,用于量化随机偏微分方程中的不确定性。通过多个数值实例,证明了该方法对于高维度前向和反向问题的不确定性量化是有效的。同时发现该方法的计算成本几乎不受问题维度的影响,具有处理 - 理想哈密顿蒙特卡罗采样器的耗散
通过研究拟合哈密顿蒙特卡罗采样器的可变积分时间和部分速度刷新之间的联系,我们发现在二次势上,相对于经典恒定积分时间、完全刷新的哈密顿蒙特卡罗法,这种优化方式可以通过 Wasserstein-2 距离以√κ 倍的效率改进。我们还探讨了在更高阶 - ICLR利用 Chebyshev 积分时间加速哈密顿蒙特卡罗
本文提出了一种基于 Chebyshev 多项式根的变化积分时间的 HMC 加速采样方法,可以在更少的迭代次数内将理想 HMC 方法在 Wasserstein-2 距离上的误差降至小于给定的值,即提高了采样的效率。
- GIGA-Lens: 强引力透镜建模的快速贝叶斯推断
本文介绍了一种名为 GIGA Lens 的基于梯度信息、GPU 加速的 Bayesian 模型,利用 TensorFlow 和 JAX 实现。通过模拟实验证明了该框架具有高性能、鲁棒性和可扩展性,可以用来对当前调查中发现的大量强镜进行建模, - ICML变分退火重要性采样的替代似然函数
我们提出了一种可以与其他变分参数一起学习的代理似然函数,以此支持两种算法类别优势的组合,此算法允许用户在推理保真度和计算成本之间进行直观权衡,适用于概率编程框架中黑盒子推理。
- 基于熵的自适应 Hamiltonian Monte Carlo
本文提出了一种基于梯度的算法,允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵,最大化建议熵的近似值,实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。
- Hamiltonian Monte Carlo 方法采样简介
介绍了哈密尔顿蒙特卡罗方法 (HMC)—— 基于哈密尔顿动力学的一种采样算法,用于从 Gibbs 密度中采样。重点在于 “理想化” 情况,其中能够精确计算连续轨迹,表明理想化 HMC 能保持 π 并在 f 为强凸和光滑时收敛。
- ICLR深度学习哈密尔顿蒙特卡罗
本文介绍了使用堆叠神经网络层来泛化哈密顿蒙特卡洛算法,并评估了其在二维格点规范理论中从不同拓扑结构中采样的能力。我们证明了我们的模型能够成功混合不同拓扑模式,显着减少了需要生成独立规范场配置的计算成本。