本文提出针对非光滑正则化惩罚的随机合成问题的最优化方法，在强凸组合问题中证明线性收敛，对于普通组合问题改进了现有的收敛速率，应用于强化学习中的投资组合管理和政策评估，结果验证了我们的理论分析。

Nov, 2017

本文介绍了一种名为MaSS的算法，它使用与SGD相同的步长，但具有比SGD更快的加速收敛速度。该算法解决了Nesterov SGD的不收敛问题，并分析了收敛速度和最优超参数对于mini-batch size的依赖性。实验结果表明，MaSS算法在多个深度网络架构中均表现出比SGD、Nesterov SGD和Adam更优秀的性能。

Oct, 2018

本研究提出了两种利用移动平均随机估计的梯度下降算法，用于解决多层级组合优化问题，并且修改后的算法在不需要小批量样本的前提下，大大提高了样本复杂度，最终达到了单层级设置的同样的样本复杂度。

Aug, 2020

介绍了一种名为 Apollo 的准牛顿法，通过对损失函数的海塞矩阵进行对角矩阵逼近，使算法的时间复杂度和内存占用保持在线性复杂度上，同时实现了对非凸优化的处理。实验结果表明，Apollo 相对于 SGD 和 Adam 等随机优化方法在收敛速度和泛化性能上都有显著提高。

Sep, 2020

该论文研究了一种用于解决机器学习中优化非凸或凸组合测度/目标的随机算法，并提供了适用于非凸和凸目标的收敛分析。其中用到的算法是基于移动平均估计器的，且还提供了可以提高实现精度的新方法。

Feb, 2022

探讨了针对多层分布式部署的随机优化问题的两种新的分布式优化算法，并在理论上和实验中验证了两种算法的有效性。

Jun, 2023

通过统计学习理论的算法稳定性角度，本文提供了随机组合梯度下降算法的稳定性和泛化分析，包括引入组合均匀稳定性的概念、建立其与复合优化问题泛化性能的定量关系、针对两种常用的随机组合梯度下降算法SCGD和SCSC建立组合均匀稳定性结果，并通过权衡稳定性结果和优化误差，导出了SCGD和SCSC的维度无关的超额风险界限。据我们所知，这是第一次关于随机组合梯度下降算法稳定性和泛化分析的结果。

Jul, 2023

本文介绍了一种名为ADA-NSTORM的方法，利用自适应学习率来解决组合型最小极大优化问题，并且通过实验证明了其比NSTORM更有效。该方法在没有大批次要求的情况下，与最小极大优化的下限相匹配，显著推动了组合型最小极大优化的发展，这是保证分布鲁棒性和策略评估的关键能力。

Aug, 2023

该研究论文通过引入一种名为ALEXR的高效的单循环原始-对偶块坐标近端算法，探讨了解决凸性和强凸性cFCCO问题的收敛速度，以及包括group distributionally robust optimization (GDRO)等在内的广泛应用中，改进前沿研究的最佳速度并解决更具挑战性的非光滑问题。

Dec, 2023

本文解决了机器学习中普遍存在的随机组合极小极大问题，填补了关于该类问题收敛性的研究空白。我们提出了一种新的算法CODA，该算法在不同的非凸设置下实现了有效收敛，显著提高了处理组合结构的优化能力，尤其在现代机器学习场景中的潜在应用如领域适应和鲁棒模型无关元学习方面具有重要影响。

Aug, 2024