Mar, 2024

流管界优化：高效的流管界优化与无循环方差缩减

PDF
TL;DR在本研究中，我们研究了在黎曼流形上的随机优化，重点关注欧氏空间和黎曼空间中使用的关键方差减小机制。通过引入 Riemannian Loopless SVRG（R-LSVRG）和 PAGE（R-PAGE）方法，我们取代了外循环，采用每次迭代中由硬币翻转触发的概率性梯度计算，确保简化证明、高效的超参数选择和尖锐的收敛保证。我们以非凸黎曼优化为框架，证明了 R-PAGE 适用于各种重要环境，并推导了具有通信压缩的分布式环境中的 Riemannian MARINA（R-MARINA），为非凸黎曼流形上的分布式优化提供了最佳理论通信复杂性保证。实验结果支持我们的理论发现。
stochastic optimizationriemannian manifoldsvariance reductionloopless svrgnon-convex optimization
发现论文，激发创造
  • Riemannian SVRG：黎曼流形上快速随机优化

    本文介绍了一种新的用于优化 Riemann 流形中的逐点可微分函数的方差减少方法 RSVRG，并分析了其在几何凸和非凸函数上的性能，提供了非渐近性的复杂度分析，从而为 Riemannian 优化提供了一个新的视角。

    May, 2016

  • Grassmann 流形上的黎曼随机方差减少梯度

    本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。

    May, 2016

  • 具有收缩和向量传输的黎曼随机方差缩减梯度算法

    本文提出了一种新颖的 Riemann 扩展欧几里得随机方差约减算法，用于测地线搜索空间，在流形上应用于对称正定子流形上的 Riemannian 质心计算问题以及 Grassmann 流形上的主成分分析和低秩矩阵完成问题中，并证明在该问题上优于标准 Riemann 随机梯度下降算法。

    Feb, 2017

  • SVRG 和 Katyusha 算法不需要外循环也能更优秀

    本文设计了随机方差减少梯度方法（SVRG）和其加速变体（Katyusha）的无循环变体，证明了其在理论上具有与原始方法相同的卓越收敛性能，通过数值实验证明了这些方法在实践中具有显着优越性。

    Jan, 2019

  • 带减少方差的 Riemannian 随机拟牛顿算法及其收敛性分析

    本文提出了一种具有优越性能的 Riemannian 随机拟牛顿算法，以减少大量但有限的损失函数的平均值，在不确定性的情况下实现了加、减、平均多个梯度，并在消去和向量传输术语下，对非凸和收缩凸函数进行了收敛性分析，并在对称正定流形的 Karcher 平均值计算以及 Grassmann 流形的低秩矩阵完成方面进行了评估与实验，均表明该算法胜过当前最先进的批量和随机梯度算法。

    Mar, 2017

  • 任意采样的 L-SVRG 和 L-Katyusha

    本篇研究提出了一种新的基于方差约减方法的优化算法，并使用预期平滑性条件来上界随机梯度估计的方差，以便于处理任意采样方案和非凸情况，此外还介绍了新的重要性采样，以在预期微型批量大小处实现线性加速，并建立期望平滑性参数与期望可分离过估计的联系，从而利用数据稀疏性。

    Jun, 2019

  • 探索在 Wasserstein 概率空间中的 Riemannian SGD 和 SVRG 流动

    通过将优化方法扩展到 Wasserstein 空间中的 Riemannian manifold，我们提出了用于连续优化的随机梯度下降和随机方差减少梯度流，证明了这些梯度流的收敛速度，与 Euclidean 空间中的结果相匹配。

    Jan, 2024

  • 非凸优化的随机方差缩减

    本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

    Mar, 2016

  • 无强凸性的方差缩减随机梯度线性收敛

    本研究介绍了 Prox-SVRG 及其投影变体 VRPSG 算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过 SSC 不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。

    Jun, 2014

  • 机器学习的方差减少方法

    该综述对有限数据集的优化中方差缩减方法的主要原理和主要发展进行了概述，重点在于凸设定，并留下指向感兴趣的读者的指针。

    Oct, 2020