Oct, 2023

变分推断中的变分参数空间上的 Wasserstein 梯度流

PDF
TL;DRVariational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.
variational inferenceoptimizationvariational parameterswasserstein gradient descentefficiency
发现论文，激发创造
  • 变分 Wasserstein 梯度流

    本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

    Dec, 2021

  • 变分推理与 Wasserstein 梯度流之间的桥梁

    本文介绍了变分推断和 Wasserstein 梯度流之间的联系，通过将 Bures-Wasserstein 梯度流转化为欧几里德梯度流，并使用路径导数梯度估计器生成梯度场，同时提供了一种新的梯度估计方法适用于 $f$-divergences 的拓展。

    Oct, 2023

  • 基于粒子的广义 Wasserstein 梯度流的变分推理

    该论文介绍了一种称为广义 Wasserstein 梯度下降（GWG）的粒子变分推断方法框架，基于 KL 散度的广义 Wasserstein 梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了 GWG 具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

    Oct, 2023

  • Wasserstein 变分推断

    本文介绍了基于 Wasserstein 变分推断的一种新的近似贝叶斯推断方法，该方法使用了包括 f - 分布和 Wasserstein 距离在内的一种新的差异度量方式，通过 Sinkhorn 迭代，该技术可以获得非常稳定的无似然训练方法，并且可以用于隐式分布和概率编程，同时应用于多种自编码器实验中，对其鲁棒性和性能进行了测试。

    May, 2018

  • 在 Bures-Wasserstein 空间中通过 JKO 实现前向后向的高斯变分推断

    本文提出了正向反向高斯变分推断算法，利用 KL 散度的结构，能够有效逼近高斯目标分布，得到了最新颖的收敛保证。

    Apr, 2023

  • 关于均值场变分推断的表现

    本论文提出了一种基于 Wasserstein 空间梯度流、Fokker-Planck 方程和扩散过程的分析 mean field variational inference (MFVI) 算法的框架，旨在解决 MFVI 算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

    Oct, 2022

  • 大规模 Wasserstein 梯度流

    本研究介绍了一种基于输入凸神经网络的渐进 Wasserstein 流逼近方法，无需领域离散化或粒子模拟，可用于机器学习应用，例如非线性滤波。

    Jun, 2021

  • 论 Stein 变分梯度下降的几何形式

    本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

    Dec, 2019

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

    Aug, 2016

  • Wasserstein 梯度流的近似推断

    该研究论文介绍了一种基于 Wasserstein 梯度流的扩散过程的新近似推理方法，该方法直接在连续函数空间中计算 Wasserstein 梯度流，并具有可比拟的过滤能力。

    Jun, 2018