Feb, 2024

随机修改流在黎曼随机梯度下降中的应用

PDF
TL;DR给出了 Riemannian 随机梯度下降（RSGD）到 Riemannian 梯度流和所谓的 Riemannian 随机修改流（RSMF）的收敛速率的定量估计。使用了随机微分几何的工具，我们展示了在小学习率情况下，RSGD 可以通过由无穷维威纳过程驱动的 RSMF 的解来近似。RSMF 考虑了 RSGD 的随机波动，并且相对于确定性的 Riemannian 梯度流提高了近似的阶数。RSGD 使用了一个投射映射的概念，即，一个对指数映射的成本有效逼近，并且在对投射映射、流形的几何和梯度的随机估计作出假设的情况下，我们证明了扩散逼近的弱误差的定量界限。
发现论文，激发创造
  • 探索在 Wasserstein 概率空间中的 Riemannian SGD 和 SVRG 流动

    通过将优化方法扩展到 Wasserstein 空间中的 Riemannian manifold，我们提出了用于连续优化的随机梯度下降和随机方差减少梯度流，证明了这些梯度流的收敛速度，与 Euclidean 空间中的结果相匹配。

    Jan, 2024

  • 黎曼流形上的随机梯度下降

    本文介绍了一种扩展随机梯度下降算法来优化在 Riemannian 流形上定义的代价函数的方法，并通过四个例子展示了其潜在的应用，其中包括派生和数字测试的一种新型的协方差矩阵的聚集算法。

    Nov, 2011

  • Grassmann 流形上的黎曼随机方差减少梯度

    本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。

    May, 2016

  • 在黎曼流形上的均值随机梯度下降

    本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

    Feb, 2018

  • 贝叶斯推断的黎曼斯坦变分梯度下降

    开发了一种称为 Riemannian Stein Variational Gradient Descent (RSVGD) 的贝叶斯推断方法，将 Stein Variational Gradient Descent (SVGD) 推广到 Riemann 流形上，利用信息几何学探索分布几何、提高粒子效率、迭代有效性和逼近灵活性，研究结果显示在 Riemann 流形上具有优势。

    Nov, 2017

  • 随机修正方程和随机梯度算法动力学 I：数学基础

    该研究发展了随机修正方程 (SME) 框架的数学基础，以便于分析随机梯度算法的动态，其中后者由一类噪声参数很小的随机微分方程逼近。研究表明，这种逼近可以被理解为一种弱逼近，从而在随机目标的一般设置下，得出了关于随机梯度下降、动量 SGD 和随机 Nesterov 加速梯度方法逼近的一些精确而有用的结果。同时，我们还通过显式计算表明，这种连续时间方法可以揭示随机梯度算法的一些重要分析洞见，这在纯离散时间设置中可能很难获得。

    Nov, 2018

  • 具有收缩和向量传输的黎曼随机方差缩减梯度算法

    本文提出了一种新颖的 Riemann 扩展欧几里得随机方差约减算法，用于测地线搜索空间，在流形上应用于对称正定子流形上的 Riemannian 质心计算问题以及 Grassmann 流形上的主成分分析和低秩矩阵完成问题中，并证明在该问题上优于标准 Riemann 随机梯度下降算法。

    Feb, 2017

  • 高斯混合分类中随机梯度下降的动力学平均场理论

    通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。

    Jun, 2020

  • 从群体损失的梯度流到随机梯度下降学习

    本文通过分析 Gradient Flow 在目标函数收敛时的性质，提供了 SGD 收敛的一般条件，研究了 Lyapunov potentials 与目标函数几何性质的关联，并给出了 SGD 收敛的保证，适用于一些复杂问题。

    Oct, 2022

  • 黎曼分数基生成建模

    本研究介绍了一种称为 Riemannian Score-based Generative Models （RSGMs）的生成模型，采用一种新的方法将 SGMs 扩展到黎曼流形，尤其在地球和气候科学球形数据方面进行了演示。

    Feb, 2022