该论文提出了两种新的随机算法，使用先进的分块方差减少技术来跟踪 Hessian 矩阵，解决了多块双层优化问题的挑战，证明了其收敛性和高效性，在机器学习等领域具有重要的应用。

May, 2023

我们研究了一类随机二级优化问题，引入了一种新颖的随机二级优化方法，通过随机切割平面局部逼近下层问题的解集，并运行带有方差减少技术的条件梯度更新来控制由于使用随机梯度引起的误差。在上层函数为凸函数的情况下，我们的方法需要最多 $\tilde {\mathcal {O}}(\max\{1/\epsilon_f^{2},1/\epsilon_g^{2}\})$ 个随机 oracle 查询，得到一个上层函数精度为 $\epsilon_f$、下层函数精度为 $\epsilon_g$ 的解，这一保证改进了之前已知的复杂性 $\mathcal {O}(\max\{1/\epsilon_f^{4},1/\epsilon_g^{4}\})$。此外，在上层函数为非凸函数的情况下，我们的方法需要最多 $\tilde {\mathcal {O}}(\max\{1/\epsilon_f^{3},1/\epsilon_g^{3}\})$ 个随机 oracle 查询，找到一个 $(\epsilon_f, \epsilon_g)$- 稳定点。在有限和问题设置中，对于凸和非凸情况下，我们的方法所需的随机 oracle 调用次数分别为 $\tilde {\mathcal {O}}(\sqrt {n}/\epsilon)$ 和 $\tilde {\mathcal {O}}(\sqrt {n}/\epsilon^{2})$，其中 $\epsilon=\min \{\epsilon_f,\epsilon_g\}$。

Aug, 2023

本文主要研究双层优化的一阶算法，目标函数在两个层次上都是光滑但可能非凸的，变量限制在闭凸集合中。首先通过罚函数方法，研究了双层优化的景观，并建立了罚函数与超目标之间的强连接。接着，提出了一阶算法来优化罚函数，以找到一个 ε- 稳定解。在满足小误差近似条件的情况下，算法以 O (ε^{-3}) 和 O (ε^{-7}) 程度的复杂度达到 ε- 稳定点。在随机预言机的额外假设下，算法的实现可以完全使用单循环方式，并分别达到 O (ε^{-3}) 和 O (ε^{-5}) 的优化复杂度。

Sep, 2023

本文提出了一种新的完全单循环和免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下提出了更紧密的分析，进而展示了算法的普遍性。

Jun, 2023

本文探讨了多块最小最大双层优化问题，提出了一种单循环随机算法，其样本复杂性为 O（1/ϵ^4），应用于多任务深度 AUC 最大化和多任务深度局部 AUC 最大化。

Jun, 2022

本论文提出了一种单时间尺度的随机双层最优化算法 (STABLE)，用于解决机器学习中的双层次优化问题，具有较高的效率和样本复杂度。

Feb, 2021

本研究提出一种全一阶随机逼近方法用于解决双层无约束随机优化问题，该方法具有收敛性及优异的实际性能，并且可以使用动量辅助的梯度估计器进一步提高收敛速度。

Jan, 2023

本研究提出了一种新的方法来解决大规模实证风险最小化中双层优化问题的梯度计算难以求解的问题，设计了 SABA（基于 SAGA 算法的）全局方差缩减算法，该算法收敛速度达到了 $O (rac1T)$， 实现了线性收敛，并得到了实验证明。

Jan, 2022

该研究开发和分析了用于解决嵌套复合双层优化问题的随机逼近算法，并利用 Neumann 级数逼近来避免矩阵求逆，以实现对于存在偏差的随机梯度的稳定解决方案，研究成果具有在深度神经网络中应用鲁棒特征学习等方面的实际优势。

Jul, 2023

本文提出了一种使用 Bregman 距离、具有低计算复杂度的增强型双层优化方法 BiO-BreD 和 SBiO-BreD，以解决双层优化问题，该问题的外部子问题非凸且可能非光滑，内部子问题强凸。通过数据超清理任务和超表征学习任务，证明了所提出的算法优于相关的双层优化方法。

Jul, 2021