Jun, 2024

ELBO 之外：大规模变分方法采样评估

PDF
TL;DR蒙特卡洛方法、变分推断及其组合在从难以处理的概率分布中取样方面发挥着重要作用。然而，现有研究缺乏统一的评估框架，依赖不同的性能度量和有限的方法比较，给进展的评估和从业者的决策带来了困难。为了应对这些挑战，我们的工作引入了一个基准，使用标准化的任务套件和广泛的性能标准评估取样方法。此外，我们研究了现有的模式坍塌度量，并引入了新的度量方法。我们的研究结果揭示了现有取样方法的优势和劣势，为未来的发展提供了有价值的参考。代码可以在此公开获取。
发现论文，激发创造
  • 蒙特卡罗目标的变分推断

    通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

    Feb, 2016

  • 主题模型中的混合变分 / 吉布斯坍缩推理

    我们提出了一种混合算法，将 collapsed Gibbs 采样和 variational Bayesian 推断相结合，取得了显著的测试集困惑度改善，同时不增加计算成本。

    Jun, 2012

  • 变分贝叶斯蒙特卡罗

    本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

    Oct, 2018

  • 变分退火重要性采样的替代似然函数

    我们提出了一种可以与其他变分参数一起学习的代理似然函数，以此支持两种算法类别优势的组合，此算法允许用户在推理保真度和计算成本之间进行直观权衡，适用于概率编程框架中黑盒子推理。

    Dec, 2021

  • GARCH 家族模型的变分推理

    通过大规模实验，我们展示了变分推断是 GARCH-like 模型中贝叶斯学习的一种可靠且具有竞争力的方法，证明了它是一种吸引人的、相当精确且可行的替代蒙特卡洛采样的方法。

    Oct, 2023

  • 关于用于分摊推断的扩散模型：基准测试和改进的随机控制和采样

    训练扩散模型以从具有给定未归一化密度或能量函数的分布中进行采样问题的研究，对于模拟为基础的变分方法和连续生成流网络等离散结构的推理方法进行基准测试，结果揭示了现有算法的相对优势，并对过去的研究提出了质疑。我们还提出了一种新颖的基于局部搜索和重放缓冲区在目标空间进行离线方法的探索策略，证明它改善了多个目标分布上样本的质量。我们为研究的采样方法和基准测试公开了代码，作为未来基于扩散模型进行分摊推理工作的基础。

    Feb, 2024

  • 基于仿真的推断基准测试

    通过建立合适的性能度量标准的基准，我们评估了一些最新的利用神经网络和经典近似贝叶斯计算方法的方法，发现性能度量的选择关键，即使是最先进的算法也有很大的改进空间，顺序估计提高了样本效率，神经网络方法通常表现更好，但没有均匀的最佳算法。

    Jan, 2021

  • 关于大数据的马尔科夫链蒙特卡罗方法

    本文综述了最近在机器学习和计算统计学领域提出的两类解决元数据分析中基于独立假设的马尔科夫链蒙特卡罗方法的方法：分而治之的方法和基于子采样的算法，并提出了一种新颖的基于子采样的方法，并在某些统计模型的有利情况下，每次迭代可以要求少于 $O (n)$ 数量级的数据点似然性评估，然而，在目标后验分布的 Bernstein-von Mises 逼近存在缺陷的情况下，我们目前只能提出能在基于子采样的方法中表现良好的方法，而在其他情况下这仍然是一个未解决的挑战。

    May, 2015

  • 一种高效的模型评估框架： 分层、抽样和估计

    模型性能评估是机器学习和计算机视觉中的关键而昂贵的任务。在本文中，我们提出了一种模型评估的统计框架，包括分层、抽样和估计组成部分。我们的实验表明，通过基于准确的模型性能预测进行 k-means 聚类的分层方法能够提供比传统的简单随机抽样更为精确的准确度估计。

    Jun, 2024

  • 蒙特卡罗变分自编码器

    本文提出了 Monte Carlo VAE 方法，并通过在多个应用中的表现来说明其性能，该方法在 Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling 等方面都做了较全面的探讨。

    Jun, 2021