Riemannian SVRG:黎曼流形上快速随机优化
本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展,应用于紧致流形搜索空间,并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。
May, 2016
本研究分析了随机变量缩减梯度(SVRG)方法在非凸有限和问题中的应用,证明了其比随机梯度下降(SGD)和梯度下降(GD)更快收敛于固定点,并分析了一类 SVRG 在解决非凸问题上的线性收敛,同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。
Mar, 2016
在本研究中,我们研究了在黎曼流形上的随机优化,重点关注欧氏空间和黎曼空间中使用的关键方差减小机制。通过引入 Riemannian Loopless SVRG(R-LSVRG)和 PAGE(R-PAGE)方法,我们取代了外循环,采用每次迭代中由硬币翻转触发的概率性梯度计算,确保简化证明、高效的超参数选择和尖锐的收敛保证。我们以非凸黎曼优化为框架,证明了 R-PAGE 适用于各种重要环境,并推导了具有通信压缩的分布式环境中的 Riemannian MARINA(R-MARINA),为非凸黎曼流形上的分布式优化提供了最佳理论通信复杂性保证。实验结果支持我们的理论发现。
Mar, 2024
本文提出了一种新颖的 Riemann 扩展欧几里得随机方差约减算法,用于测地线搜索空间,在流形上应用于对称正定子流形上的 Riemannian 质心计算问题以及 Grassmann 流形上的主成分分析和低秩矩阵完成问题中,并证明在该问题上优于标准 Riemann 随机梯度下降算法。
Feb, 2017
该研究提出了一种名为 SVRG 的算法,可用于处理强凸目标以外的任务并提供更高效的解决方案,并且该算法在许多著名的实际应用中都具有较好的表现。
Jun, 2015
开发了一种称为 Riemannian Stein Variational Gradient Descent (RSVGD) 的贝叶斯推断方法,将 Stein Variational Gradient Descent (SVGD) 推广到 Riemann 流形上,利用信息几何学探索分布几何、提高粒子效率、迭代有效性和逼近灵活性,研究结果显示在 Riemann 流形上具有优势。
Nov, 2017
本论文提出了一种加速的近端随机方差减少梯度(ASVRG)方法,它具有一种简单而有效的动量加速技巧,并证明在强凸和非强凸目标函数上都可以实现最佳已知的 oracle 复杂度。同时将 ASVRG 扩展到 mini-batch 基础上,并证明了理论结果,表明 ASVRG 的性能与现有的随机方法相当甚至更好。
Oct, 2018
本文提出了一种名为 VR-SGD 的变体随机梯度下降法,其使用平均值和上一个时期的最后迭代作为两个向量,能够直接解决非光滑和 / 或非强凸问题,并能够使用更大的学习率。此方法在解决各种机器学习问题,如凸和非凸的经验风险最小化以及特征值计算等方面,具有更快的收敛速度。
Feb, 2018