Mar, 2024

具有分解高斯近似的变分推断的差异排序

PDF
TL;DR用变分推断方法（VI）在高斯分布的近似中分析不同的散度选择如何影响估计不确定性的测量时，发现了它们的排序方式，并得出了不同散度会导致正确估计哪种测量的结论。
variational inferencedivergencesgaussian approximationuncertainty measuresnon-gaussian distributions
发现论文，激发创造
  • 摄动黑盒变分推理

    本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

    Sep, 2017

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 基于健壮分歧的变分推断

    本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

    Oct, 2017

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断 (VI) 方法中的坐标上升变分推断 (CAVI) 算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 使用 Alpha 散度推断贝叶斯神经网络的 Dropout

    该研究提出了 alpha-divergence 的一种新颖措施，与 dropout 结合使用，能够较准确地估计深度学习模型的不确定性。

    Mar, 2017

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过 Markov chain Monte Carlo（MCMC）与 varational inference（VI）相结合，并引入 variational contrastive divergence（VCD）作为新的 divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 关于稀疏变分方法和随机过程之间的 Kullback-Leibler 分歧

    本文中，我们以无穷指数集的情况为例，给出了最小化近似过程与后验过程之间严格定义的 KL 距离的变分框架的实质性推广。同时，我们还讨论了增广指数集并表明，增广的边际一致性不能保证变分推断与原模型一致，但是我们给出了可获得此保证的额外条件的特征。最后，我们展示了我们的框架如何阐明跨域稀疏求值和 Cox 过程的稀疏求值。

    Apr, 2015

  • 函数空间中变分推断的理解

    本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

    Nov, 2020

  • 通过最优输运协调上升变分推断用于对数凹测度的收敛性

    均场变分推断（VI）是找到相对熵意义下到给定的高维概率测度 $\rho$ 最接近的分布（分解测度）的问题。本文证明了在对数凹密度 $\rho$ 情况下，均场变分推断 CAVI 的收敛性。若附加条件 $\log \rho$ 具有 Lipschitz 梯度，则收敛速度为线性，若 $\rho$ 也是强对数凹的，则收敛速度为指数级。我们的分析始于观察到当 $\rho$ 为对数凹时，均场 VI 在优化输运的意义下是凸的，从而使我们能够借鉴来自欧几里得空间上坐标下降算法的优化文献中的技术。

    Apr, 2024

  • 具有独立调节能力的 f - 散度变分推断

    本文提出了一类新的尾部自适应的 f 散度，可以用于变分推断中的 α 分布，且在有限矩状况下同时实现大量覆盖性，用于改进 SAC 算法等深度强化学习任务时相较于基于 KL 散度和 α 散度的现有方法表现更好。

    Oct, 2018