Jun, 2023

自适应模拟退火重要性采样与常速进展

PDF
TL;DR本文介绍了通过 Annealed Importance Sampling 方法和常数级联算法对难以估计的分布进行抽样，并利用几何退火方法找到 KL 散度的最小值，进而发展出适用于 alpha 散度的算法。
annealed importance samplinggeometric annealingconstant rate discretization schedulef-divergencescr-ais algorithm
发现论文，激发创造
  • 基于得分的扩散遇上退火重要性采样

    本文介绍了使用分数比建模得到优化的扩展目标分布加上 Langevin 和 Hamiltonian 动力学离散化的 AIS 建议来估计边缘似然值的方法。

    Aug, 2022

  • 基于集成的退火重要采样

    通过结合种群基 Monte Carlo 方法来提高时间片 C 与均值场极限下的整体演变效率，我们提出了一个基于模型的 Annealed Importance Sampling (AIS) 的集成版本。

    Jan, 2024

  • 可微退火重要采样最小化初始分布与目标分布之间的 Jensen-Shannon 散度

    DAIS 是一种可微分的持续退火重要性采样方法，它通过最小化初始和目标分布之间的对称 KL 散度来进行变分推断。通过实证评估其在合成和真实数据上作为变分分布的有用性，发现与标准 VI、重要性加权 VI 和马尔科夫分数爬升相比，它常常能提供更准确的不确定性估计。

    May, 2024

  • 自适应重要性抽样的渐近最优性

    本文提出了自适应重要性采样方法，并探讨了采样策略和权重更新对采样效率产生的影响。除此之外，还介绍了一种新的加权采样方法，可以帮助快速排除低效样本。

    Jun, 2018

  • 可微退火重要性采样与梯度噪声的风险

    提出了 Differentiable AIS（DAIS）算法，是 AIS 算法的一种变种，具备可导性，并能够进行小批量梯度。DAIS 在贝叶斯线性回归问题中是一致的，并提供亚线性收敛率。然而，针对大规模数据集的随机 DAIS 可能无法达到后验的迭代收敛性，需要进行新的研究思路。

    Jul, 2021

  • 可微分顺序蒙特卡罗采样器中的重采样梯度消失

    本研究探讨了一种名为 Differentiable AIS 的抽样方法，尝试通过添加重采样步骤来提高样本有效性，并在实证和理论上验证了该方法的可行性。

    Apr, 2023

  • 流退火重要性采样自助法

    该研究提出 Flow AIS Bootstrap (FAB) 方法，采用退火重要性采样 (AIS) 和最小化质量覆盖 α 散度，使用的 α=2，从而避免了当前训练流方法的主要问题。使用 FAB 将多模态目标应用于学习甘氨二肽分子的玻尔兹曼分布，证明了该方法比使用 MD 样本通过最大似然训练效果更好，在使用 100 倍少的目标评估下，可以获得与真实数据几乎相同的无偏直方图。

    Aug, 2022

  • 基于未经校正的哈密顿退火的 MCMC 变分推断

    提出了一种使用类似于 AIS（Annealed Importance Sampling）的 Uncorrected Hamiltonian MCMC 过程的框架，称为 Uncorrected Hamiltonian Annealing，它能够在获得近似样本的同时，获得一个紧致、可微分的 logZ 的下界，相比其他竞争方法，我们的方法表现更好，并且使用重新参数化梯度调整参数能够显著提高性能。

    Jul, 2021

  • 使用链接重要性抽样估计归一化常数比率

    本文介绍了通过引入中间分布进行概率比较的方法，包括简单重要抽样 (SIS)、桥抽样 (Bridge Sampling)、退火重要性采样 (AIS) 等，同时提出一种新的方法，称为关联重要性采样 (LIS)，并且表明 LIS 方法比 AIS 方法更加精确。

    Nov, 2005

  • 退火流输运蒙特卡罗

    本文提出了一种新的蒙特卡罗算法 Annealed Flow Transport (AFT)，它 结合使用了 Annealed Importance Sampling (AIS)、Sequential Monte Carlo (SMC) 和 normalizing flows (NFs)，可以更准确地估计概率分布的归一化常数和与目标分布有关的期望值。

    Feb, 2021