一种随机复合非凸优化的混合随机优化框架
本文提出了使用混合随机估算器设计的混合随机梯度算法来解决非凸期望问题，该算法可以获得更好的复杂度，同时考虑不同的扩展，如使用自适应步长和不同的迭代方式。在使用两个非凸模型进行了多个数据集上的比较。
May, 2019
提出了一种新的混合方差缩减近端梯度法，它使用随机梯度评估来代替早期方法中的 $SARAH$，从而实现每次迭代少使用一个随机梯度，在达到了随机梯度评估的最优随机预测复杂度界限的同时很简单。
Aug, 2020
提出了一种新的混合随机策略梯度估计器，并使用此估计器开发了一种新的混合随机策略梯度算法（ProxHSPGA）来解决复合策略优化问题，该算法可以处理策略参数上的约束或规则化，已经在强化学习中的一些示例上进行了评估和验证。
Mar, 2020
本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。
Jan, 2019
提出了一种新的随机一阶算法框架来解决随机复合非凸优化问题，该算法覆盖了有限和期望设置，其中算法仅需要非凸目标项的平均光滑性假设和附加的有界方差假设，并证明了算法可以实现最佳复杂度界限。
Feb, 2019
该研究开发和分析了用于解决嵌套复合双层优化问题的随机逼近算法，并利用 Neumann 级数逼近来避免矩阵求逆，以实现对于存在偏差的随机梯度的稳定解决方案，研究成果具有在深度神经网络中应用鲁棒特征学习等方面的实际优势。
Jul, 2023
本文提出一种使用归一化近端梯度求解多层组合优化问题的方法，其中包含一系列随机平滑映射，在嵌套随机方差约减的帮助下获得近似梯度，其期望样本复杂度为 O（ϵ^-3），在有限求和的情况下为 O（N+√Nϵ^-2），其中 N 是所有组合级别上的函数总数。与以前的方法相比，我们的总样本复杂度在组合级别数量上的依赖性是多项式的，而不是指数的。
Aug, 2019
本文提出了一种渐进协同优化梯度算法的统一视角，通过推广 Nesterov 引入的估计序列概念，覆盖了随机梯度下降法，SAGA 和 SVRG 等方法，并提出了具有同样保证的新的算法，并推导了使这些算法抗击随机噪声的通用策略，最终证明了该视角有助于得到新的加速算法。
May, 2019