Mar, 2024

序列蒙特卡洛在摊还变分推理中的包容式 KL 最小化

PDF
TL;DR使用序贯蒙特卡洛采样估计更全面的 KL 散度的梯度，提出了 SMC-Wake 方法，其使用了编码器网络进行已摊销的变分推断，以更准确地拟合后验分布的变分分布。
encoder networkamortized variational inferencekullback-leibler divergencesmc-wakevariational distributions
发现论文，激发创造
  • 马尔可夫分数攀登：KL (p||q) 变分推理

    本文介绍了一种可靠的使用随机梯度下降最小化包含 KL 散度的简单算法 Markovian score climbing (MSC)，它以不偏的方式收敛于包含 KL。对贝叶斯 probit 回归进行分类以及针对金融数据的随机波动率模型演示了 MSC 的效用。

    Mar, 2020

  • 使用变分自编码器作为分摊采样器学习基于能量的模型

    通过学习用于初始化 MCMC 的变分自编码器，实现了宏观的 EBM 采样，并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。

    Dec, 2020

  • 张量蒙特卡罗：GPU 时代的粒子方法

    本研究提出了一种基于 tensor Monte-Carlo 方法来解决避免 sequential Monte-Carlo 方法的序列结构和非可导性质所带来的问题，从而获得目前为止更好的同时支持多样本的 IWAE 模型，实验结果表明该方法优于 IWAE 在多层感知器模型中训练 MNIST 数据集。

    Jun, 2018

  • 分片瓦烧斯坦变分推理

    本研究提出了一种新的变分推断方法，通过最小化切片 Wasserstein 距离来近似非规范化分布并使用神经网络对变分分布进行逼近。我们还提供了理论性分析，并用合成和实际数据进行了实验验证。

    Jul, 2022

  • 变分序贯蒙特卡罗

    本文在变分推理中提出了一种新的逼近分布族：变分顺序蒙特卡罗（VSMC）族，并显示了如何在变分推理中优化它，从而将变分推理和顺序蒙特卡罗相结合，提供了灵活，准确且强大的贝叶斯推理。我们展示了它在状态空间模型，金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。

    May, 2017

  • 共享弱化变分推理的元学习

    提出了一种新的摊销变分推断方案来处理实证贝叶斯元学习模型，使用变分自编码器方法在有限的训练数据上学习模型参数的先验分布，我们的框架建议在模型参数的条件先验和变分后验分布之间共享相同的摊销推断网络，相比于 Monte-Carlo 近似的早期工作，我们的变分方法避免了条件先验的崩溃并保留了模型参数的不确定性，并在 miniImageNet、CIFAR-FS 和 FC100 数据集上进行了评估，证明了它比以前的方法具有更好的性能。

    Aug, 2020

  • 自编码序列蒙特卡罗

    利用自动编码序列蒙特卡罗的方法模型和提议学习，通过序贯蒙特卡罗的效率执行结构化概率模型的推理并利用深度神经网络对复杂的条件概率分布进行建模。实现同时学习深度生成模型的模型和提议适应的快速、易于实现和可扩展的方法。

    May, 2017

  • 马尔可夫链分数上升：具有马尔可夫梯度的变分推断的统一框架

    提供了多个基于马尔可夫链的有偏梯度估计算法的非渐进收敛分析，并将其视为马尔可夫链梯度下降框架的特例，通过新的理解开发了一种并行的 Markov chain score ascent (pMCSA) 算法，实现了对梯度变化的更紧密控制，从而显著提高了算法的实际性能。

    Jun, 2022

  • 重新审视具有随机控制流模型的加权唤醒 - 睡眠算法

    本文研究用于生成模型的随机控制流模型的学习问题，提出了一种基于重加权的 wake-sleep 算法，证明在学习 SCFMs 方面胜过其他现有的方法，是竞争力和优选的选择。

    May, 2018

  • 在线变分顺序蒙特卡洛

    在该研究中，我们使用基于粒子方法和变分推断的变分序贯蒙特卡洛（VSMC）方法，在时间上分布了 VSMC 代理 ELBO 的梯度的近似，从而实现了面向数据流的在线学习，能够高效地进行参数估计和粒子提议适应。同时，我们提供了与数据量趋于无穷大时该算法收敛性质的严格理论结果，以及在批处理设置中的出色收敛性和实用性的数值说明。

    Dec, 2023