本文介绍了一种新的用于优化Riemann流形中的逐点可微分函数的方差减少方法RSVRG,并分析了其在几何凸和非凸函数上的性能,提供了非渐近性的复杂度分析,从而为Riemannian优化提供了一个新的视角。
May, 2016
在弯曲流形环境下,提出了 Riemann 版 Nesterov 加速梯度算法(RAGD),并证明了在极小值附近(半径取决于流形的截面曲率和条件数),RAGD 算法具有加速收敛性,相比 Liu 等人 (2017) 的算法少了对非线性方程的精确求解,而且具有构造性和可计算性,所使用的证明利用了一个新的估计序列和关于非线性度量扭曲的新界定,两个思想可能是独立有趣的。
Jun, 2018
将Adam、Adagrad和Amsgrad等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出,同时在实验中证明该算法比原算法更快且表现更好。
Oct, 2018
基于Halpern迭代的潜能函数收敛证明,我们利用非扩张映射、单调Lipschitz算子和近端映射之间的联系,得到了解决单调包含问题的近乎最优无参方法,同时转化为解决变分不等式问题、拟凸-凹极小极大优化问题的近乎最优保证,并在分析中提供了一系列的算法降低证明复杂度。
Feb, 2020
本文研究了使用外推方法解决光滑凸函数的一阶最小化问题的加速率。通过建立收敛速度与相对Lipschitz连续性的关系,进一步推广了框架以处理局部和随机相对Lipschitz连续性,并基于区域凸性和加速(随机)坐标下降实现了盒约束ℓ∞回归的复杂度界。
Nov, 2020
本研究解决了开放性问题,证明了用切向残差作为潜势函数的 extragradient 算法(或乐观梯度上升下降算法)在任意凸可行域上具有极致的收敛速率,其简单的表达为 $O(1/√T)$ 。
Apr, 2022
本文研究的是优化问题,其中函数在乘积 Riemann 流形上是几何上凸的,设计了加速的方法,改进了现有的方法,并在 Riemann 最小-最大的情况下证明了全局线性收敛。
May, 2023
利用动力学理论,我们证明了双时间尺度外推梯度法可以成为面对极小极大问题的一个可行解决方案,并消除了先前的假设条件使其收敛于满足局部极小极大点的二阶必要条件的点。
该研究通过研究Riemannian梯度下降算法,证明了无论流形的曲率如何,只要保持测地强单调性,通过使用曲率不明感的步长,可以实现曲率无关和线性的最后一次迭代收敛率。
Jun, 2023
提出了一个在黎曼流形上求解双层优化问题的框架,研究了超梯度估计策略,分析了算法的收敛性和复杂度,扩展了到随机双层优化和一般回退的应用。
Feb, 2024