Grassmann 流形上的黎曼随机方差减少梯度

May, 2016

Grassmann 流形上的黎曼随机方差减少梯度

Riemannian stochastic variance reduced gradient on Grassmann manifold

Hiroyuki Kasai, Hiroyuki Sato, Bamdev Mishra

TL;DR本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。

Abstract

stochastic variance reduction algorithms have recently become popular for minimizing the average of a large, but finite, number of loss functions. In this paper, we propose a novel riemannian extension of the Euc

stochastic variance reduction algorithms riemannian extension grassmann manifold convergence analysis low-rank matrix completion

发现论文，激发创造

具有收缩和向量传输的黎曼随机方差缩减梯度算法

本文提出了一种新颖的 Riemann 扩展欧几里得随机方差约减算法，用于测地线搜索空间，在流形上应用于对称正定子流形上的 Riemannian 质心计算问题以及 Grassmann 流形上的主成分分析和低秩矩阵完成问题中，并证明在该问题上优于标准 Riemann 随机梯度下降算法。

Feb, 2017

带减少方差的 Riemannian 随机拟牛顿算法及其收敛性分析

本文提出了一种具有优越性能的 Riemannian 随机拟牛顿算法，以减少大量但有限的损失函数的平均值，在不确定性的情况下实现了加、减、平均多个梯度，并在消去和向量传输术语下，对非凸和收缩凸函数进行了收敛性分析，并在对称正定流形的 Karcher 平均值计算以及 Grassmann 流形的低秩矩阵完成方面进行了评估与实验，均表明该算法胜过当前最先进的批量和随机梯度算法。

Mar, 2017

Riemannian SVRG：黎曼流形上快速随机优化

本文介绍了一种新的用于优化 Riemann 流形中的逐点可微分函数的方差减少方法 RSVRG，并分析了其在几何凸和非凸函数上的性能，提供了非渐近性的复杂度分析，从而为 Riemannian 优化提供了一个新的视角。

May, 2016

流管界优化：高效的流管界优化与无循环方差缩减

在本研究中，我们研究了在黎曼流形上的随机优化，重点关注欧氏空间和黎曼空间中使用的关键方差减小机制。通过引入 Riemannian Loopless SVRG（R-LSVRG）和 PAGE（R-PAGE）方法，我们取代了外循环，采用每次迭代中由硬币翻转触发的概率性梯度计算，确保简化证明、高效的超参数选择和尖锐的收敛保证。我们以非凸黎曼优化为框架，证明了 R-PAGE 适用于各种重要环境，并推导了具有通信压缩的分布式环境中的 Riemannian MARINA（R-MARINA），为非凸黎曼流形上的分布式优化提供了最佳理论通信复杂性保证。实验结果支持我们的理论发现。

Mar, 2024

在黎曼流形上的均值随机梯度下降

本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

Feb, 2018

黎曼流形上的随机梯度下降

本文介绍了一种扩展随机梯度下降算法来优化在 Riemannian 流形上定义的代价函数的方法，并通过四个例子展示了其潜在的应用，其中包括派生和数字测试的一种新型的协方差矩阵的聚集算法。

Nov, 2011

随机梯度下降中方差与复杂度的权衡

CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

Mar, 2016

随机方差缩减策略梯度

本文提出了一种新颖的基于随机方差降低策略梯度的增强学习算法，即 SVRPG，旨在解决马尔可夫决策过程中面临的非凸优化、全梯度计算误差以及采样过程的非稳定性等问题，并通过重要性权重来实现渐进无偏估计。在 MDP 标准假设下，我们提供了 SVRPG 的收敛保证，收敛速率在增加批处理大小下呈线性。最后，我们建议实际的 SVRPG 变体，并在连续 MDP 上进行了实证评估。

Jun, 2018

非凸优化的随机方差缩减

本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

Mar, 2016

贝叶斯推断的黎曼斯坦变分梯度下降

开发了一种称为 Riemannian Stein Variational Gradient Descent (RSVGD) 的贝叶斯推断方法，将 Stein Variational Gradient Descent (SVGD) 推广到 Riemann 流形上，利用信息几何学探索分布几何、提高粒子效率、迭代有效性和逼近灵活性，研究结果显示在 Riemann 流形上具有优势。

Nov, 2017