本文提出针对非光滑正则化惩罚的随机合成问题的最优化方法，在强凸组合问题中证明线性收敛，对于普通组合问题改进了现有的收敛速率，应用于强化学习中的投资组合管理和政策评估，结果验证了我们的理论分析。

Nov, 2017

本文提出一种名为STORM-PG的新算法，它采用SARAH类型的随机递归方差降低的策略梯度，具有对于STORM-PG具有严格的O（1/ε^3）样本复杂度界限，并避免了其他方差减小的策略梯度方法中存在的大批处理和小批处理之间的交替，从而允许较简单的参数调整，并在数值实验中表现出了与其他策略梯度算法相比的优越性。

Mar, 2020

本文提出了一种新的Stochastically Corrected Stochastic Compositional梯度方法(SCSC)，该方法可应用于用于强化学习和元学习等应用中的随机组合优化问题，并使用SGD的改进来加速收敛。

Aug, 2020

提出了一种新的MinMax优化算法家族，它利用早期迭代所观察到的梯度数据的几何信息，以在后期执行更具信息性的额外梯度步骤，从而自适应地检测问题是否光滑。

Oct, 2020

通过统计学习理论的算法稳定性角度，本文提供了随机组合梯度下降算法的稳定性和泛化分析，包括引入组合均匀稳定性的概念、建立其与复合优化问题泛化性能的定量关系、针对两种常用的随机组合梯度下降算法SCGD和SCSC建立组合均匀稳定性结果，并通过权衡稳定性结果和优化误差，导出了SCGD和SCSC的维度无关的超额风险界限。据我们所知，这是第一次关于随机组合梯度下降算法稳定性和泛化分析的结果。

Jul, 2023

通过开发一种新的具有动量的分布式随机组合梯度下降上升算法，我们解决了分布式组合极小化问题中内层函数的共识误差，并证明了其能够实现线性加速。我们相信这种算法设计能够促进分布式组合优化的发展。对于不平衡分类问题，我们的广泛实验结果证明了算法的有效性。

Jul, 2023

该研究论文通过引入一种名为ALEXR的高效的单循环原始-对偶块坐标近端算法，探讨了解决凸性和强凸性cFCCO问题的收敛速度，以及包括group distributionally robust optimization (GDRO)等在内的广泛应用中，改进前沿研究的最佳速度并解决更具挑战性的非光滑问题。

Dec, 2023

在受限制的马尔可夫决策问题（CMDP）中，我们开发了原始-对偶加速自然策略梯度（PD-ANPG）算法，它保证了ε全局最优性差距和ε约束违反，样本复杂度为O(ε^-3)，从而在CMDP的样本复杂度上取得了O(ε^-1)的进展。

May, 2024

STOchastic Recursive Momentum (STORM)-based algorithms' generalization analysis, stability results, and excess risk bounds for one, two, and K-level stochastic optimizations under convex and strongly convex settings.

Jul, 2024

本文解决了机器学习中普遍存在的随机组合极小极大问题，填补了关于该类问题收敛性的研究空白。我们提出了一种新的算法CODA，该算法在不同的非凸设置下实现了有效收敛，显著提高了处理组合结构的优化能力，尤其在现代机器学习场景中的潜在应用如领域适应和鲁棒模型无关元学习方面具有重要影响。

Aug, 2024