Jan, 2024

探索在 Wasserstein 概率空间中的 Riemannian SGD 和 SVRG 流动

PDF
TL;DR通过将优化方法扩展到 Wasserstein 空间中的 Riemannian manifold，我们提出了用于连续优化的随机梯度下降和随机方差减少梯度流，证明了这些梯度流的收敛速度，与 Euclidean 空间中的结果相匹配。
optimizationriemannian manifoldwasserstein distancestochastic gradient descentconvergence rates
发现论文，激发创造
  • 随机修改流在黎曼随机梯度下降中的应用

    给出了 Riemannian 随机梯度下降（RSGD）到 Riemannian 梯度流和所谓的 Riemannian 随机修改流（RSMF）的收敛速率的定量估计。使用了随机微分几何的工具，我们展示了在小学习率情况下，RSGD 可以通过由无穷维威纳过程驱动的 RSMF 的解来近似。RSMF 考虑了 RSGD 的随机波动，并且相对于确定性的 Riemannian 梯度流提高了近似的阶数。RSGD 使用了一个投射映射的概念，即，一个对指数映射的成本有效逼近，并且在对投射映射、流形的几何和梯度的随机估计作出假设的情况下，我们证明了扩散逼近的弱误差的定量界限。

    Feb, 2024

  • 欧几里德、度量和 Wasserstein 梯度流：综述

    本文针对概率度量空间上基于 Wasserstein 距离的梯度流理论进行了阐述，涵盖了欧氏理论的一般化和 Jordan-Kinderleher-Otto 方案的详细描述，并介绍了其他梯度流 PDEs 和基于这些思想的数值方法，最后阐述了 Ambrosio、Gigli、Savar 和 Kuwada 和 Ohta 最新理论成果研究度量空间热流问题。

    Sep, 2016

  • Grassmann 流形上的黎曼随机方差减少梯度

    本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。

    May, 2016

  • 大规模 Wasserstein 梯度流

    本研究介绍了一种基于输入凸神经网络的渐进 Wasserstein 流逼近方法，无需领域离散化或粒子模拟，可用于机器学习应用，例如非线性滤波。

    Jun, 2021

  • 贝叶斯推断的黎曼斯坦变分梯度下降

    开发了一种称为 Riemannian Stein Variational Gradient Descent (RSVGD) 的贝叶斯推断方法，将 Stein Variational Gradient Descent (SVGD) 推广到 Riemann 流形上，利用信息几何学探索分布几何、提高粒子效率、迭代有效性和逼近灵活性，研究结果显示在 Riemann 流形上具有优势。

    Nov, 2017

  • Riemannian SVRG：黎曼流形上快速随机优化

    本文介绍了一种新的用于优化 Riemann 流形中的逐点可微分函数的方差减少方法 RSVRG，并分析了其在几何凸和非凸函数上的性能，提供了非渐近性的复杂度分析，从而为 Riemannian 优化提供了一个新的视角。

    May, 2016

  • 变分推理与 Wasserstein 梯度流之间的桥梁

    本文介绍了变分推断和 Wasserstein 梯度流之间的联系，通过将 Bures-Wasserstein 梯度流转化为欧几里德梯度流，并使用路径导数梯度估计器生成梯度场，同时提供了一种新的梯度估计方法适用于 $f$-divergences 的拓展。

    Oct, 2023

  • 变分 Wasserstein 梯度流

    本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

    Dec, 2021

  • 变分推断中的变分参数空间上的 Wasserstein 梯度流

    Variational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.

    Oct, 2023

  • Stein 变分梯度下降作为梯度流

    本文针对 Stein 变分梯度下降算法（SVGD）开展了首次理论分析，讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性，同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果，包括在弱条件下 Stein 差异的可辨识性的新证明。

    Apr, 2017