Jul, 2023

关于 Evidence Lower Bound 的 Fisher-Rao 梯度

PDF
TL;DR本文研究了证据下界，ELBO 的 Fisher-Rao 梯度，该梯度在变分自动编码器，赫姆霍兹机和自由能原理的理论中起着关键作用。ELBO 的自然梯度与目标分布的 Kullback-Leibler 散度的自然梯度有关，这是学习的主要目标函数。基于信息几何中梯度的不变性属性，给出了确保最小化主要目标函数与最大化 ELBO 等价的基本模型条件。
发现论文，激发创造
  • 修复破损的 ELBO

    本文讨论了深度非监督学习中最大化证据下限（ELBO）的训练方法，并推导了输入与潜变量之间互信息的下限和上限，进而通过率失真曲线描述了压缩和重构准确性之间的平衡，并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。

    Nov, 2017

  • 在混乱问题的背景下，ELBO 梯度的解析逼近

    本文提出一种用于逼近变分推断问题中 Evidence Lower Bound（ELBO）梯度的解析解，其中统计模型是由从一个高斯分布嵌入在无关干扰中得到的观测值构成的贝叶斯网络，该方法采用重新参数化技巧将梯度操作符移至期望内部，并依赖于似然函数在观测数据上分解的假设，从而导致变分分布通常比似然函数中的高斯分布更紧支撑，这使得对各个似然因子的高效局部近似成为可能，从而得到定义梯度期望的积分的解析解，我们将所提出的梯度近似集成为 EM（期望最大化）算法中的期望步骤，并在贝叶斯推断中与经典的确定性方法，如拉普拉斯逼近、期望传播和均场变分推断进行了测试，所提出的方法表现出良好的准确性和收敛速度，并具有线性计算复杂度。

    Apr, 2024

  • VarGrad: 变分推断的低方差梯度估计器

    本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

    Oct, 2020

  • VAE 中证据的限制和对数似然的评估

    本文提供了一种通用且有效的变分间隙上限估算方法，使得我们可以高效地对 VAE 模型的真实证据进行估算，并且借助我们的估算方法，容易获得 VAE 模型对数似然的上限和下限。

    Jun, 2022

  • 热力学变分目标

    介绍使用热力学变分目标（TVO）来学习连续和离散的深层生成模型；提供了一个计算上高效的梯度估计器；并使用 TVo 来学习深层生成模型和推理网络，取得了最前沿的模型和推理网络学习效果。

    Jun, 2019

  • 过滤变分目标

    通过粒子滤波器的估计量来定义一类下限，即过滤变分目标 (FIVOs)，利用模型的顺序结构形成更紧的下限。实验证明，相对于使用 ELBO 进行训练，在顺序数据上使用 FIVO 可以显著提高模型性能。

    May, 2017

  • 非对称变分自编码器

    提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

    Nov, 2017

  • 设计贝叶斯最优实验的统一随机梯度方法

    本文提出了一种全概率梯度方法来解决贝叶斯最优实验设计的问题，该方法利用变分下界来进行预期信息增益的优化，并提供多种变分目标，最终表现出比现有方法在高维设计优化中更有效的性能。

    Nov, 2019

  • 强健的变分推断

    本文介绍了一种对变分推断的鲁棒修正方法，此方法适用于大多数训练集样本为随机噪声对象的情况，并在 MNIST 和 OMNIGLOT 合成数据集上展示了比证据下限更出色的目标。在原始的 MNIST 和 OMNIGLOT 数据集上，我们还观察到相对于非鲁棒证据的下限的小幅提高。

    Nov, 2016

  • 广义指数族的玻璃体对偶在热力学变分推理中的应用

    本论文通过指数族解释下的等间距选择中间分布，提出了一种基于温度变分目标（TVO）的预估期限的紧束性，并得出了一个提高模型学习性能的双重参数梯度估计器。

    Jul, 2020