Apr, 2024

在混乱问题的背景下，ELBO 梯度的解析逼近

PDF
TL;DR本文提出一种用于逼近变分推断问题中 Evidence Lower Bound（ELBO）梯度的解析解，其中统计模型是由从一个高斯分布嵌入在无关干扰中得到的观测值构成的贝叶斯网络，该方法采用重新参数化技巧将梯度操作符移至期望内部，并依赖于似然函数在观测数据上分解的假设，从而导致变分分布通常比似然函数中的高斯分布更紧支撑，这使得对各个似然因子的高效局部近似成为可能，从而得到定义梯度期望的积分的解析解，我们将所提出的梯度近似集成为 EM（期望最大化）算法中的期望步骤，并在贝叶斯推断中与经典的确定性方法，如拉普拉斯逼近、期望传播和均场变分推断进行了测试，所提出的方法表现出良好的准确性和收敛速度，并具有线性计算复杂度。
evidence lower boundvariational inferenceclutter problemreparameterization trickem algorithm
发现论文，激发创造
  • 修复破损的 ELBO

    本文讨论了深度非监督学习中最大化证据下限（ELBO）的训练方法，并推导了输入与潜变量之间互信息的下限和上限，进而通过率失真曲线描述了压缩和重构准确性之间的平衡，并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。

    Nov, 2017

  • 关于 Evidence Lower Bound 的 Fisher-Rao 梯度

    本文研究了证据下界，ELBO 的 Fisher-Rao 梯度，该梯度在变分自动编码器，赫姆霍兹机和自由能原理的理论中起着关键作用。ELBO 的自然梯度与目标分布的 Kullback-Leibler 散度的自然梯度有关，这是学习的主要目标函数。基于信息几何中梯度的不变性属性，给出了确保最小化主要目标函数与最大化 ELBO 等价的基本模型条件。

    Jul, 2023

  • VAE 中证据的限制和对数似然的评估

    本文提供了一种通用且有效的变分间隙上限估算方法，使得我们可以高效地对 VAE 模型的真实证据进行估算，并且借助我们的估算方法，容易获得 VAE 模型对数似然的上限和下限。

    Jun, 2022

  • 大规模变分高斯状态空间模型

    引入一种基于分级变分推断和结构化变分逼近的摊还推断算法，应用于受高斯噪声驱动的非线性动力学状态空间模型。通过利用蒙特卡洛逼近方法中的低秩结构来辅助隐变量的边际化计算、基于低秩精度矩阵更新的推断网络来近似更新步骤、并将当前和未来的观测数据转化为伪观测数据，从而将近似平滑问题转化为（更易解决的）近似过滤问题。整个计算过程的时间复杂度为 $O (TL (Sr + S^2 + r^2))$，其中 $T$ 为时间序列长度，$L$ 为状态空间维度，$S$ 为用于近似预测步骤的样本数，$r$ 为近似精度矩阵更新的秩（远远小于 $L$ 维）。

    Mar, 2024

  • 无监督聚类的变分信息瓶颈：深度高斯混合嵌入

    本文提出了一种无监督的生成性聚类框架，将变分信息瓶颈和高斯混合模型相结合。使用变分信息瓶颈方法将潜空间建模为高斯混合物，并导出了一个代价函数的界限，并提供了一种可计算它的变分推断类型算法。通过神经网络参数化编码器映射，并通过蒙特卡罗采样逼近边界，并用随机梯度下降进行优化。提供了真实数据集的数值结果，证明了我们方法的有效性。

    May, 2019

  • VarGrad: 变分推断的低方差梯度估计器

    本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

    Oct, 2020

  • 设计贝叶斯最优实验的统一随机梯度方法

    本文提出了一种全概率梯度方法来解决贝叶斯最优实验设计的问题，该方法利用变分下界来进行预期信息增益的优化，并提供多种变分目标，最终表现出比现有方法在高维设计优化中更有效的性能。

    Nov, 2019

  • 基于熵的 ELBO 方法学习稀疏编码

    基于熵的学习目标可用于标准概率稀疏编码，我们推导出此类目标，并通过数值实验证明了其可行性。我们研究了包括关联潜变量的高斯后验近似和深度自编码近似在内的不同后验近似方法，并通过熵退火技术实现了改进的学习效果。这是我们对标准概率稀疏编码的两个理论贡献之一，我们首次提供了此类非平凡后验近似的解析 ELBO 目标函数，并展示了如何利用 ELBO 收敛到熵和的最新研究成果进行学习。

    Nov, 2023

  • 基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

    本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

    Dec, 2014

  • 用随机梯度变分贝叶斯近似伽马分布

    本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

    Sep, 2015