NIPSFeb, 2016

Rényi 分歧变分推断

PDF
TL;DR本文介绍了变分 Renyi 界限 (VR)，它将传统的变分推理扩展到了 Renyi 的 Alpha - 散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的 Alpha 值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负 Alpha 值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了 VR 界限的广泛适用性。
variational inferencerenyi's alpha-divergencesoptimisationbayesian neural networksvariational auto-encoders
发现论文，激发创造
  • 摄动黑盒变分推理

    本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

    Sep, 2017

  • 具有 Kullback-Leibler 和 Renyi 积分界限的变分自编码器学习

    该论文提出了两种可用于变分推断和特别是变分自编码器训练的基于 Kullback-Leibler 和 Rényi 分歧的对数似然的新界限，这受到在连续数据集上训练 VAE 时遇到的困难的启发，同时避免了给数据添加任何额外噪音来源的必要，具有数值稳定的训练程序。

    Jul, 2018

  • 可变推断中的 Alpha-Beta 散度

    本文介绍了一种使用直接优化 “尺度不变的 Alpha-Beta 离散度”（sAB 离散度）的变分逼近框架，该新目标包含了大多数使用 Kullback-Leibler、Rényi 或 gamma 离散度的变分目标，还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现，可以在离散度空间上平滑地插值，同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外，通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法，可以直接优化 sAB 变分目标，导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。

    May, 2018

  • 基于健壮分歧的变分推断

    本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

    Oct, 2017

  • 具有独立调节能力的 f - 散度变分推断

    本文提出了一类新的尾部自适应的 f 散度，可以用于变分推断中的 α 分布，且在有限矩状况下同时实现大量覆盖性，用于改进 SAC 算法等深度强化学习任务时相较于基于 KL 散度和 α 散度的现有方法表现更好。

    Oct, 2018

  • 使用 Alpha 散度推断贝叶斯神经网络的 Dropout

    该研究提出了 alpha-divergence 的一种新颖措施，与 dropout 结合使用，能够较准确地估计深度学习模型的不确定性。

    Mar, 2017

  • Rényi 分布估计的广义指数集中不等式

    本文研究非参数统计学中估计分歧的问题，提出了一种 Renyi-alpha 分歧的估计算法，并给出了一个关于该算法的指数不等式一致收敛边界，并通过数值实验验证了该算法。

    Mar, 2016

  • Wasserstein 变分推断

    本文介绍了基于 Wasserstein 变分推断的一种新的近似贝叶斯推断方法，该方法使用了包括 f - 分布和 Wasserstein 距离在内的一种新的差异度量方式，通过 Sinkhorn 迭代，该技术可以获得非常稳定的无似然训练方法，并且可以用于隐式分布和概率编程，同时应用于多种自编码器实验中，对其鲁棒性和性能进行了测试。

    May, 2018

  • 通过 Renyi 散度对风险敏感的函数进行鲁棒边界

    将指数积分和相对熵之间的对偶性推广到涉及 Renyi 离散度的指数积分的变分公式。该公式表征了由尾部行为决定的风险敏感功能和相关量的依赖于底层分布扰动的程度，以 Renyi 离散度为基础。作为应用，考虑当模型的某些方面未完全知道时的不确定性量化问题，以及使用它们来限定难以处理的模型的尾部特性。

    Oct, 2013

  • 具有分解高斯近似的变分推断的差异排序

    用变分推断方法（VI）在高斯分布的近似中分析不同的散度选择如何影响估计不确定性的测量时，发现了它们的排序方式，并得出了不同散度会导致正确估计哪种测量的结论。

    Mar, 2024