ICMLMay, 2024

可微退火重要采样最小化初始分布与目标分布之间的 Jensen-Shannon 散度

PDF
TL;DRDAIS 是一种可微分的持续退火重要性采样方法，它通过最小化初始和目标分布之间的对称 KL 散度来进行变分推断。通过实证评估其在合成和真实数据上作为变分分布的有用性，发现与标准 VI、重要性加权 VI 和马尔科夫分数爬升相比，它常常能提供更准确的不确定性估计。
发现论文，激发创造
  • 可微退火重要性采样与梯度噪声的风险

    提出了 Differentiable AIS（DAIS）算法，是 AIS 算法的一种变种，具备可导性，并能够进行小批量梯度。DAIS 在贝叶斯线性回归问题中是一致的，并提供亚线性收敛率。然而，针对大规模数据集的随机 DAIS 可能无法达到后验的迭代收敛性，需要进行新的研究思路。

    Jul, 2021

  • 基于得分的扩散遇上退火重要性采样

    本文介绍了使用分数比建模得到优化的扩展目标分布加上 Langevin 和 Hamiltonian 动力学离散化的 AIS 建议来估计边缘似然值的方法。

    Aug, 2022

  • 可微分顺序蒙特卡罗采样器中的重采样梯度消失

    本研究探讨了一种名为 Differentiable AIS 的抽样方法，尝试通过添加重采样步骤来提高样本有效性，并在实证和理论上验证了该方法的可行性。

    Apr, 2023

  • 自适应模拟退火重要性采样与常速进展

    本文介绍了通过 Annealed Importance Sampling 方法和常数级联算法对难以估计的分布进行抽样，并利用几何退火方法找到 KL 散度的最小值，进而发展出适用于 alpha 散度的算法。

    Jun, 2023

  • 基于集成的退火重要采样

    通过结合种群基 Monte Carlo 方法来提高时间片 C 与均值场极限下的整体演变效率，我们提出了一个基于模型的 Annealed Importance Sampling (AIS) 的集成版本。

    Jan, 2024

  • 基于未经校正的哈密顿退火的 MCMC 变分推断

    提出了一种使用类似于 AIS（Annealed Importance Sampling）的 Uncorrected Hamiltonian MCMC 过程的框架，称为 Uncorrected Hamiltonian Annealing，它能够在获得近似样本的同时，获得一个紧致、可微分的 logZ 的下界，相比其他竞争方法，我们的方法表现更好，并且使用重新参数化梯度调整参数能够显著提高性能。

    Jul, 2021

  • 流退火重要性采样自助法

    该研究提出 Flow AIS Bootstrap (FAB) 方法，采用退火重要性采样 (AIS) 和最小化质量覆盖 α 散度，使用的 α=2，从而避免了当前训练流方法的主要问题。使用 FAB 将多模态目标应用于学习甘氨二肽分子的玻尔兹曼分布，证明了该方法比使用 MD 样本通过最大似然训练效果更好，在使用 100 倍少的目标评估下，可以获得与真实数据几乎相同的无偏直方图。

    Aug, 2022

  • 自适应重要性抽样的渐近最优性

    本文提出了自适应重要性采样方法，并探讨了采样策略和权重更新对采样效率产生的影响。除此之外，还介绍了一种新的加权采样方法，可以帮助快速排除低效样本。

    Jun, 2018

  • 使用前向 Kullback-Leibler 散度进行重要性采样的变分细化

    提出了一种结合优化和抽样技巧的近似贝叶斯推断方法，通过最小化前向 KL 散度构建了一种 IS 建议分布，实验证明该方法在现实数据上与变分提升和 MCMC 相竞争。

    Jun, 2021

  • 预处理重要采样

    研究了如何使用马尔可夫链转移为固定分布的模拟退火过程定义一个重要性采样器，并表明此方法可以解决高维问题中找到好的重要性采样分布的难度，因此可用于评估难以评估的概率量，特别是在离散模式存在时

    Mar, 1998