Jul, 2021

基于未经校正的哈密顿退火的 MCMC 变分推断

PDF
TL;DR提出了一种使用类似于 AIS（Annealed Importance Sampling）的 Uncorrected Hamiltonian MCMC 过程的框架，称为 Uncorrected Hamiltonian Annealing，它能够在获得近似样本的同时，获得一个紧致、可微分的 logZ 的下界，相比其他竞争方法，我们的方法表现更好，并且使用重新参数化梯度调整参数能够显著提高性能。
annealed importance samplinghamiltonian mcmcuncorrected hamiltonian annealinglower boundsreparameterization gradients
发现论文，激发创造
  • 基于得分的扩散遇上退火重要性采样

    本文介绍了使用分数比建模得到优化的扩展目标分布加上 Langevin 和 Hamiltonian 动力学离散化的 AIS 建议来估计边缘似然值的方法。

    Aug, 2022

  • 可微退火重要性采样与梯度噪声的风险

    提出了 Differentiable AIS（DAIS）算法，是 AIS 算法的一种变种，具备可导性，并能够进行小批量梯度。DAIS 在贝叶斯线性回归问题中是一致的，并提供亚线性收敛率。然而，针对大规模数据集的随机 DAIS 可能无法达到后验的迭代收敛性，需要进行新的研究思路。

    Jul, 2021

  • 可微退火重要采样最小化初始分布与目标分布之间的 Jensen-Shannon 散度

    DAIS 是一种可微分的持续退火重要性采样方法，它通过最小化初始和目标分布之间的对称 KL 散度来进行变分推断。通过实证评估其在合成和真实数据上作为变分分布的有用性，发现与标准 VI、重要性加权 VI 和马尔科夫分数爬升相比，它常常能提供更准确的不确定性估计。

    May, 2024

  • 基于集成的退火重要采样

    通过结合种群基 Monte Carlo 方法来提高时间片 C 与均值场极限下的整体演变效率，我们提出了一个基于模型的 Annealed Importance Sampling (AIS) 的集成版本。

    Jan, 2024

  • 含哈密顿蒙特卡罗的变分推断

    本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法，并通过实验结果证明了这种方法的理论优势和性能改进。

    Sep, 2016

  • 自适应模拟退火重要性采样与常速进展

    本文介绍了通过 Annealed Importance Sampling 方法和常数级联算法对难以估计的分布进行抽样，并利用几何退火方法找到 KL 散度的最小值，进而发展出适用于 alpha 散度的算法。

    Jun, 2023

  • 利用反向退火得出 MRF 对数似然的准确和保守估计

    提出了一种名为 RAISE 的估计 Markov 随机场模型分区函数的估计器，该估计器只需要标准 AIS 中的 MCMC 转移算子，实验结果表明，RAISE 与 AIS 的似然估计值相当接近，但在低似然时，相对于 AIS 更容易低估似然。

    Dec, 2014

  • 用于计算分配函数的哈密顿退火重要性采样

    用哈密顿动力学扩展的退火重要性抽样技术快速估算规范常数，应用于计算有向和无向概率图像模型的对数似然函数，比较了线性生成模型和各种分布假设，提供代码以比较其他模型。

    May, 2012

  • 使用双向蒙特卡罗法（Bidirectional Monte Carlo）测量 MCMC 推断的可靠性

    通过在模拟数据上运行双向蒙特卡洛技术，我们扩展了近来引入的双向蒙特卡洛技巧来评估基于 MCMC 的后验推理算法，并提出了一种验证模拟数据实验与真实数据集相关性的协议 BREAD，并将其整合到 WebPPL 和 Stan 两种概率编程语言中。

    Jun, 2016

  • 使用退火重要性采样学习深度生成模型

    本文提出了使用退火重要性采样 (annealed importance sampling) 来学习深度生成模型的方法，该方法是变分推断 (variational inference) 和马尔可夫链蒙特卡罗 (Markov chain Monte Carlo) 两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器 (importance weighted auto-encoders) 更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

    Jun, 2019