我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

Jun, 2015

该研究通过研究 Riemannian 梯度下降算法，证明了无论流形的曲率如何，只要保持测地强单调性，通过使用曲率不明感的步长，可以实现曲率无关和线性的最后一次迭代收敛率。

Jun, 2023

本文提出了下降算法族，引入了一种名为坐标梯度算法的新的一阶算法，并证明了在函数强平滑的情况下，坐标梯度算法的收敛速度比梯度下降算法更快。当目标函数为凸函数时，我们提出了两种新颖的 “加速” 下降方法的框架，一种是 Nesterov 风格的，另一种是 Monteiro 和 Svaiter 风格的，都使用单个 Lyapunov 进行加速。在相同的强平滑性假设下，坐标梯度下降可以使用两个框架加速。我们提供了一些在机器学习领域中强平滑损失函数的实例和数值实验来验证我们的理论结果，另外还介绍了一些关于 Lyapunov 优化的扩展，包括导出最优通用张量方法以及将我们的框架扩展到坐标设置中。

Feb, 2019

将 Adam、Adagrad 和 Amsgrad 等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出，同时在实验中证明该算法比原算法更快且表现更好。

Oct, 2018

本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

Feb, 2018

本文提出了一个新的加速方法 AGDP, 并对噪声和不精确梯度预言机下的加速算法进行了理论研究，研究结果支持了通过 AGDP 方法的简单性及其分析，梯度噪声的交互关系以及提示改进算法以减少梯度噪声引起的误差的平均值和方差。

May, 2018

本文提出了一种加速的一阶优化算法 —— 鲁棒动量法，可用于优化平滑强凸函数。该算法有一种参数可以调节对梯度噪声的稳健性与最差情况下的收敛速度之间的平衡。算法具有简单的解析形式，并通过在干净和梯度噪声情况下的一系列数值模拟进行了验证。

Oct, 2017

提出了一种新的加速一阶方法 (AXGD)，采用了预测 - 校正方法，解决了凸 - 凹鞍点问题，通过隐式欧拉离散化构建了加速连续时间动态模型，并通过原始 - 对偶视角进行了分析，对于其他类别的目标也能够达到最佳收敛速度。

Jun, 2017

我们在插值条件下证明了随机 Nesterov 加速的新的收敛速度。不同于以往的分析，我们的方法可以加速任何在期望中取得足够进展的随机梯度方法。证明使用估计序列框架进行，适用于凸函数和强凸函数，并且可以轻松推广到满足强生长条件的加速 SGD。在这种特殊情况下，我们的分析将强生长常数的依赖性从 ρ 减小到√ρ，相对于以前的工作来说，这一改进相当于最坏情况下条件数的平方根，并解决了对于随机加速的保证可能不如 SGD 的批评。

Apr, 2024

本文讨论了一类随机光滑凸优化问题，其噪声的方差与算法产生的近似解的次优性有关，提出了两个非欧几里德加速随机逼近算法，即随机加速梯度下降（SAGD）和随机梯度外推（SGE），并证明了在适当的条件下，这两个算法可以同时达到最优的迭代和样本复杂度。同时本文还提出了应用 SGE 进行恢复稀疏解的方法。

Jul, 2023