Oct, 2023

概率测度空间中的梯度流采样

PDF
TL;DR本文研究了基于梯度流的采样方法的设计要素，主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先，我们展示了 Kullback-Leibler 散度作为能量函数的独特性质，即由它引导的梯度流与目标分布的标准化常数无关。其次，我们从不变性的角度研究了度量的选择，引入了一种放松的仿射不变性，构建了各种仿射不变的 Wasserstein 和 Stein 梯度流。最后，基于高斯近似的梯度流方法被提出，并与参数变分推断衍生的梯度方法建立了联系，理论和数值上研究了它们的收敛性。
samplinggradient flowsenergy functionalmetricgaussian approximations
发现论文，激发创造
  • 欧几里德、度量和 Wasserstein 梯度流：综述

    本文针对概率度量空间上基于 Wasserstein 距离的梯度流理论进行了阐述，涵盖了欧氏理论的一般化和 Jordan-Kinderleher-Otto 方案的详细描述，并介绍了其他梯度流 PDEs 和基于这些思想的数值方法，最后阐述了 Ambrosio、Gigli、Savar 和 Kuwada 和 Ohta 最新理论成果研究度量空间热流问题。

    Sep, 2016

  • 高效多模态无导数贝叶斯推断与 Fisher-Rao 梯度流

    本文研究了精确抽样问题，特别关注涉及贝叶斯推断中的大规模逆问题的科学和工程应用。通过引入基于 Fisher-Rao 梯度流的动力学系统，提出了一种处理贝叶斯推断中的计算挑战的方法，并应用高斯混合逼近和 Kalman 方法以解决多模态分布的问题。所提出的方法可以高效地处理多模态分布，名为 Gaussian Mixture Kalman Inversion（GMKI）。在理论和数值实验中进行的多个实验证明了 GMKI 的有效性，包括概念验证、二维实例以及从正时间的解数据中恢复 Navier-Stokes 初始条件的大规模应用。

    Jun, 2024

  • 变分 Wasserstein 梯度流

    本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

    Dec, 2021

  • 等变流：对称密度的精确似然生成学习

    本文研究了等变正规化流，在物理和化学的多体系统中存在的对称性被设计地融入流中，建立流的基础块并提高采样效率与泛化能力。

    Jun, 2020

  • 大规模 Wasserstein 梯度流

    本研究介绍了一种基于输入凸神经网络的渐进 Wasserstein 流逼近方法，无需领域离散化或粒子模拟，可用于机器学习应用，例如非线性滤波。

    Jun, 2021

  • 基于神经网络的度量流

    通过神经网络梯度下降在 Riemannian 度量空间中建立流的理论，以近似 Calabi-Yau 度量为动机，并且通过理解神经网络空间中的流进而实现。通过推导相应的度量流方程，我们发现其受到度量神经切向核的控制，这是一个在时间中演化的复杂的非局部对象。然而，许多体系结构可以进行无限宽度的极限，其中核固定且动力学简化。额外的假设可以引入流动的局部性，从而实现 Perelman 的 Ricci 流形式，该流形式曾被用于解决 3D Poincaré 猜想。我们将这些思想应用于数值 Calabi-Yau 度量，包括对特征学习重要性的讨论。

    Oct, 2023

  • 最优概率测度分解的 Wasserstein 梯度流

    我们研究无限维优化问题，即查找将概率测度分解为 K 个概率子测度以最小化受聚类和用户分组应用启发的特定损失函数。我们分析了最优子测度支撑集的结构，并介绍了基于 Wasserstein 梯度流的算法，证明了它们的收敛性。数值结果说明了我们算法的可实施性并提供了进一步的见解。

    Jun, 2024

  • 变分推理与 Wasserstein 梯度流之间的桥梁

    本文介绍了变分推断和 Wasserstein 梯度流之间的联系，通过将 Bures-Wasserstein 梯度流转化为欧几里德梯度流，并使用路径导数梯度估计器生成梯度场，同时提供了一种新的梯度估计方法适用于 $f$-divergences 的拓展。

    Oct, 2023

  • Wasserstein 梯度流的近似推断

    该研究论文介绍了一种基于 Wasserstein 梯度流的扩散过程的新近似推理方法，该方法直接在连续函数空间中计算 Wasserstein 梯度流，并具有可比拟的过滤能力。

    Jun, 2018

  • 黎曼连续归一化流

    本文提出 Riemannian 连续正规化流模型，通过设置连续性流作为常微分方程的解来定义流，其可以对光滑流形上的灵活概率测度进行有效参数化，在合成和现实数据方面与标准流或先前介绍的预测流相比可以显著提高表现。

    Jun, 2020