May, 2012

用于计算分配函数的哈密顿退火重要性采样

PDF
TL;DR用哈密顿动力学扩展的退火重要性抽样技术快速估算规范常数，应用于计算有向和无向概率图像模型的对数似然函数，比较了线性生成模型和各种分布假设，提供代码以比较其他模型。
发现论文，激发创造
  • 证明退火对估计归一化常数的益处：重要抽样、噪音对比估计及其它

    最近的研究在模拟退火的思想基础上发展了几种蒙特卡洛方法，用于估计归一化常数（分区函数）。本文通过评估多个设计选择对于渐近估计误差的影响，提出了一种两步估计器以高效地近似最优路径。

    Oct, 2023

  • 预处理重要采样

    研究了如何使用马尔可夫链转移为固定分布的模拟退火过程定义一个重要性采样器，并表明此方法可以解决高维问题中找到好的重要性采样分布的难度，因此可用于评估难以评估的概率量，特别是在离散模式存在时

    Mar, 1998

  • 基于 LSH 的新型无偏高效采样器和估计器用于对数线性模型中的分区函数计算

    该研究提出了一种新的采样方案和无偏估计器，利用局部敏感哈希（LSH）在次线性时间内准确估算分配函数，实现了高效的样本生成和处理，进而提高了训练实际语言模型的速度和精度。

    Mar, 2017

  • 基于得分的扩散遇上退火重要性采样

    本文介绍了使用分数比建模得到优化的扩展目标分布加上 Langevin 和 Hamiltonian 动力学离散化的 AIS 建议来估计边缘似然值的方法。

    Aug, 2022

  • 基于未经校正的哈密顿退火的 MCMC 变分推断

    提出了一种使用类似于 AIS（Annealed Importance Sampling）的 Uncorrected Hamiltonian MCMC 过程的框架，称为 Uncorrected Hamiltonian Annealing，它能够在获得近似样本的同时，获得一个紧致、可微分的 logZ 的下界，相比其他竞争方法，我们的方法表现更好，并且使用重新参数化梯度调整参数能够显著提高性能。

    Jul, 2021

  • 使用 Rao-Blackwellized Tempered Sampling 计算分区函数

    提出了一种计算复杂的、多峰的概率分布的配分函数的新方法，该方法利用了逆温度的多项概率定律，可以在采样时更新。通过实验证明，这种方法比模拟退火法提供更准确的估计，适用于跟踪学习 Restricted Boltzmann Machines 中的训练和验证对数似然。

    Mar, 2016

  • 自适应哈密顿蒙特卡洛加速采样

    基于损失函数自适应地调整参数，通过梯度驱动学习计算积分步数的分布，加上随机性以实现平滑的损失函数曲面，将该方法应用于哈密顿蒙特卡罗算法，优化得到与自相关时间相对应的参数。

    Sep, 2023

  • 基于集成的退火重要采样

    通过结合种群基 Monte Carlo 方法来提高时间片 C 与均值场极限下的整体演变效率，我们提出了一个基于模型的 Annealed Importance Sampling (AIS) 的集成版本。

    Jan, 2024

  • 使用链接重要性抽样估计归一化常数比率

    本文介绍了通过引入中间分布进行概率比较的方法，包括简单重要抽样 (SIS)、桥抽样 (Bridge Sampling)、退火重要性采样 (AIS) 等，同时提出一种新的方法，称为关联重要性采样 (LIS)，并且表明 LIS 方法比 AIS 方法更加精确。

    Nov, 2005

  • 扰动状态空间模型与粒子边缘 Metropolis-Hastings 采样器

    通过对潜在噪声变量而非潜在状态变量进行重新表述的方法，我们研究了没有闭合形式转移的非线性状态空间模型。研究发现，这种转化实现了可计算的噪声密度以代替不可计算的转移密度，可作为辅助粒子滤波器等重要性抽样方法中的重要权重计算。通过两个多元海洋生物地球化学模型的实例探讨粒子边缘 Metropolis-Hastings 采样器的状态和参数估计问题。结果表明，对于快速混合过程模型来说，重新表述噪声变量的模型非常有用。

    Feb, 2012