非参数 Hamilton Monte Carlo
我们提出了非参数的纠缠马尔科夫链蒙特卡罗(NP-iMCMC)算法,作为一种构建用于普通概率编程语言(PPL)可表示的非参数模型的 MCMC 推理算法的方法。该方法建立在统一的纠缠 MCMC 框架之上,并通过提供一个在维度之间驱动状态移动的一般性过程,表明了 NP-iMCMC 可以推广许多现有的 MCMC 算法以用于非参数模型。
Nov, 2022
本文提出了第一步: Probabilistic Path HMC,该算法可以在具有错综复杂结构的空间中进行采样分布,并使用该算法对一些结构复杂的空间(如 Phylogenetic Trees)进行了有效实现。
Feb, 2017
通过先前推理的后验估计,训练一种判别模型,即神经网络,来逼近最优提议分布,最终在 Anglican 概率编程系统中呈现一种非参数模型中基于数据驱动提议的实例,并表明数据驱动提议可以显著提高推理性能,从而需要更少粒子进行良好的后验估计。
Dec, 2015
介绍和证明了一个基于粒子马尔可夫蒙特卡罗的新的推理方法。该方法适用于图灵完备的概率编程语言,支持使用复杂控制流(包括随机递归)的模型的准确推理,并包括来自贝叶斯非参数统计的基元。实验证明,该方法比之前介绍的单一站点 Metropolis-Hastings 方法更有效。
Jul, 2015
本文介绍了一种新的基于非可逆马尔可夫链蒙特卡洛算法的类别,利用连续时间分段确定性马尔可夫过程。这些算法基于确定性动力学演化标记过程的状态,同时利用马尔可夫转移核来改变其状态。通过使用这些算法,只有子集状态被更新,导致其他组件的状态隐含不显,另外,利用无偏估计对数目标时,这些算法保持目标不变。本文提出新的 MCMC 方法来解决这些限制,并在多种应用中展示了这些方案的性能。
Jul, 2017
提出了一种新型的两阶段哈密顿蒙特卡罗算法,通过使用一个廉价的可微分代理模型计算接受率,在第二阶段使用高保真度(HF)数值求解器评估后验分布,以高效地逼近后验梯度并产生准确的后验样本,成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制,并在计算后验统计量时保持或改进准确性。
May, 2024
本文介绍一种新的方法,使用全非定常高斯过程回归,在该方法中,三个关键参数 —— 噪声方差、信号方差和长度尺度 —— 均可以同时受输入影响。我们采用基于梯度的推理方法,学习未知函数和非定常模型参数,无需任何模型近似。我们提出使用哈密尔顿蒙特卡罗方法推断全参数后验,通过模型梯度指导采样,方便地扩展了基于解析梯度的 GPR 学习。我们还通过梯度上升从后验中学习 MAP 解。在几个合成数据集和时间基因表达建模实验中,非定常 GPR 被证明是建模真实的输入依赖动态所必需的,而否则它的性能与传统的定常或以前的非定常 GPR 模型相当。
Aug, 2015
我们开发了一种新的低级、一阶概率编程语言(LF-PPL),适用于包含连续、离散和 / 或分段连续变量的模型,在能够自动区分与密度函数不连续有关的参数的同时,提供运行时检查边界交叉的编译方案。通过将不连续的哈密尔顿蒙特卡洛(DHMC)推断引擎整合进去,我们证明了该语言的能力,可以提供自动和高效的非可微模型推断。同时,我们的系统还有数学形式主义来确保任何表达在该语言中的模型具有密度,且在测度上具有零间断,以维护推断引擎的有效性。
Mar, 2019
提出了基于相对论动力学的哈密顿蒙特卡罗方法,通过引入粒子的最大速度解决哈密顿蒙特卡罗在大时间离散化和空间几何不匹配时的性能问题,并开发了基于此的相对论随机梯度下降算法,与深度学习中的优化方法如梯度截断、RMSprop、Adagrad 和 Adam 有趣的关系,实验表明这种算法比经典牛顿变体和 Adam 表现更好。
Sep, 2016