Jul, 2021

可微退火重要性采样与梯度噪声的风险

PDF
TL;DR提出了 Differentiable AIS（DAIS）算法，是 AIS 算法的一种变种，具备可导性，并能够进行小批量梯度。DAIS 在贝叶斯线性回归问题中是一致的，并提供亚线性收敛率。然而，针对大规模数据集的随机 DAIS 可能无法达到后验的迭代收敛性，需要进行新的研究思路。
annealed importance samplingdifferentiable aismarginal likelihood estimationbayesian linear regressionstochastic gradients
发现论文，激发创造
  • 可微分顺序蒙特卡罗采样器中的重采样梯度消失

    本研究探讨了一种名为 Differentiable AIS 的抽样方法，尝试通过添加重采样步骤来提高样本有效性，并在实证和理论上验证了该方法的可行性。

    Apr, 2023

  • 可微退火重要采样最小化初始分布与目标分布之间的 Jensen-Shannon 散度

    DAIS 是一种可微分的持续退火重要性采样方法，它通过最小化初始和目标分布之间的对称 KL 散度来进行变分推断。通过实证评估其在合成和真实数据上作为变分分布的有用性，发现与标准 VI、重要性加权 VI 和马尔科夫分数爬升相比，它常常能提供更准确的不确定性估计。

    May, 2024

  • 基于得分的扩散遇上退火重要性采样

    本文介绍了使用分数比建模得到优化的扩展目标分布加上 Langevin 和 Hamiltonian 动力学离散化的 AIS 建议来估计边缘似然值的方法。

    Aug, 2022

  • 自适应模拟退火重要性采样与常速进展

    本文介绍了通过 Annealed Importance Sampling 方法和常数级联算法对难以估计的分布进行抽样，并利用几何退火方法找到 KL 散度的最小值，进而发展出适用于 alpha 散度的算法。

    Jun, 2023

  • 基于集成的退火重要采样

    通过结合种群基 Monte Carlo 方法来提高时间片 C 与均值场极限下的整体演变效率，我们提出了一个基于模型的 Annealed Importance Sampling (AIS) 的集成版本。

    Jan, 2024

  • 基于未经校正的哈密顿退火的 MCMC 变分推断

    提出了一种使用类似于 AIS（Annealed Importance Sampling）的 Uncorrected Hamiltonian MCMC 过程的框架，称为 Uncorrected Hamiltonian Annealing，它能够在获得近似样本的同时，获得一个紧致、可微分的 logZ 的下界，相比其他竞争方法，我们的方法表现更好，并且使用重新参数化梯度调整参数能够显著提高性能。

    Jul, 2021

  • 神经网络中的高效贝叶斯推断：通过自适应重要性抽样实现

    本文提出了一种名为 PMCnet 的新算法，该算法采用自适应重要性采样技术，利用复杂的（通常是多峰的）后验概率分布的几何信息，为设计贝叶斯神经网络提供了成功的方法，以实现在医疗保健或自动驾驶等决策重要性较大的领域中的机器学习应用，并同时降低了计算成本。

    Oct, 2022

  • AIS-BN：用于大型贝叶斯网络证据推理的自适应重要性采样算法

    该论文提出了一种自适应重要性抽样算法 (AIS-BN)，其在极端条件下表现出有前途的收敛率且一致优于现有采样算法，在多个测试案例中达到了数量级的精度和速度改进。

    Jun, 2011

  • 流退火重要性采样自助法

    该研究提出 Flow AIS Bootstrap (FAB) 方法，采用退火重要性采样 (AIS) 和最小化质量覆盖 α 散度，使用的 α=2，从而避免了当前训练流方法的主要问题。使用 FAB 将多模态目标应用于学习甘氨二肽分子的玻尔兹曼分布，证明了该方法比使用 MD 样本通过最大似然训练效果更好，在使用 100 倍少的目标评估下，可以获得与真实数据几乎相同的无偏直方图。

    Aug, 2022

  • 自适应重要性抽样的渐近最优性

    本文提出了自适应重要性采样方法，并探讨了采样策略和权重更新对采样效率产生的影响。除此之外，还介绍了一种新的加权采样方法，可以帮助快速排除低效样本。

    Jun, 2018