Feb, 2016

Rényi分歧变分推断

HTML
PDF
TL;DR本文介绍了变分Renyi界限(VR)，它将传统的变分推理扩展到了Renyi的Alpha-散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的Alpha值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负Alpha值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了VR界限的广泛适用性。
发现论文，激发创造
  • 共轭指数族中的快速变分推断

    提出了一种用于概率模型的折叠变分推断算法的通用方法，该方法整合了许多现有的折叠变分推断方法，并基于较快的共轭梯度优化方法导出新的较低边际似然性的下界。

    Jun, 2012

  • 强健的变分推断

    本文介绍了一种对变分推断的鲁棒修正方法，此方法适用于大多数训练集样本为随机噪声对象的情况，并在MNIST和OMNIGLOT合成数据集上展示了比证据下限更出色的目标。在原始的MNIST和OMNIGLOT数据集上，我们还观察到相对于非鲁棒证据的下限的小幅提高。

    Nov, 2016

  • 可变推断中的Alpha-Beta散度

    本文介绍了一种使用直接优化“尺度不变的Alpha-Beta离散度”（sAB离散度）的变分逼近框架，该新目标包含了大多数使用Kullback-Leibler、Rényi或gamma离散度的变分目标，还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现，可以在离散度空间上平滑地插值，同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外，通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法，可以直接优化sAB变分目标，导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。

    May, 2018

  • 具有Kullback-Leibler和Renyi积分界限的变分自编码器学习

    该论文提出了两种可用于变分推断和特别是变分自编码器训练的基于Kullback-Leibler和Rényi分歧的对数似然的新界限，这受到在连续数据集上训练VAE时遇到的困难的启发，同时避免了给数据添加任何额外噪音来源的必要，具有数值稳定的训练程序。

    Jul, 2018

  • 复杂模型变分推断的快速简单的自然梯度下降

    本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。

    Jul, 2018

  • 双半隐式变分推断

    提出了一种名为DSIVI的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的ELBO下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

    Oct, 2018

  • 广义变分推断：推导新后验分布的三个参数

    提出了一种基于优化的贝叶斯推论的新颖泛化方法，称为三原则规则，并通过GVI（广义变分推论）的探索得出应用，包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。

    Apr, 2019

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过Markov chain Monte Carlo（MCMC）与varational inference（VI）相结合，并引入variational contrastive divergence（VCD）作为新的divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 基于重要性加权变分推断的学习：VR-IWAE界限梯度估计的渐近分析

    本文研究了重要性加权变分推断中的变分界限选择对结果的影响，填补了这一方法论中的空白。作者提出了对重参数化和双重重参数化梯度估计的分析，揭示了这些估计的优缺点，并比较了ELBO、IWAE和VR界限的方法。这项研究有助于深化对重要性加权变分推断方法的理解，并通过实证展示了理论发现。

    Oct, 2024