Nov, 2016

强健的变分推断

HTML
PDF
TL;DR本文介绍了一种对变分推断的鲁棒修正方法，此方法适用于大多数训练集样本为随机噪声对象的情况，并在MNIST和OMNIGLOT合成数据集上展示了比证据下限更出色的目标。在原始的MNIST和OMNIGLOT数据集上，我们还观察到相对于非鲁棒证据的下限的小幅提高。
发现论文，激发创造
  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒-睡眠算法，并取得了最新成果。

    Jan, 2014

  • Rényi分歧变分推断

    本文介绍了变分Renyi界限(VR)，它将传统的变分推理扩展到了Renyi的Alpha-散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的Alpha值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负Alpha值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了VR界限的广泛适用性。

    Feb, 2016

  • 蒙特卡罗目标的变分推断

    通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

    Feb, 2016

  • 变分自编码器中的推理次优性

    研究了变分自编码器中的近似推理，发现推理网络的不完美会导致与真实后验的偏差，并且发现用于提高近似值的参数对于推理的泛化起到重要作用。

    Jan, 2018

  • 更紧的变分界并不一定更好

    本文提供理论和实证证据表明，使用更严格的证据下界（ELBO）可能会降低梯度估计器的信噪比，从而对学习推理网络产生不利影响，并介绍了三种新算法：偏重要性加权自动编码器（PIWAE），乘法重要性加权自动编码器（MIWAE）和组合重要性加权自动编码器（CIWAE）。同时，我们的结果表明，PIWAE可以同时改善推理和生成网络的训练。

    Feb, 2018

  • 具有Kullback-Leibler和Renyi积分界限的变分自编码器学习

    该论文提出了两种可用于变分推断和特别是变分自编码器训练的基于Kullback-Leibler和Rényi分歧的对数似然的新界限，这受到在连续数据集上训练VAE时遇到的困难的启发，同时避免了给数据添加任何额外噪音来源的必要，具有数值稳定的训练程序。

    Jul, 2018

  • 用退火变分目标改善变分推断中的可探索性

    本研究介绍了Annealed Variational Objectives方法，该方法通过在优化目标中加入能量调节来促进学习，实现了在层次变分方法中的训练，并在潜在空间中鼓励探索。

    Sep, 2018

  • 分层重要性加权自编码器

    引入层次结构的关联采样方案可以减少重复样本，从而减小重要性估计方差并提高推理性能。

    May, 2019

  • 完全变分噪声对比估计

    本文提出了一种使用正确评分规则理论的噪声对比估计（NCE）方法家族，适用于潜变量模型；这个方法家族可以通过类似变分贝叶斯的方式从数据样本和噪声样本中提取并利用信息，并被称为全变分噪声对比估计时损失函数，其中，变分自编码器是其中的一种，也可以用于使用适当的分类损失将实际数据与合成样本区分开来；此外，我们讨论了全变分NCE目标的其他实例，并指出它们在实证行为上的差异。

    Apr, 2023

  • 面向模型不可知的后验近似以实现快速准确的变分自编码器

    学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于MAPA的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。

    Mar, 2024