本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。
Nov, 2011
针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。
Jan, 2024
本文提出了一种新颖的基于罚函数方法的二层优化问题算法，避免了计算 Hessian 逆矩阵的过程，并可轻松处理限制性二层问题。本方法证明收敛性并在大规模深度神经网络二层问题中表现优异，应用于数据去噪、few-shot 学习和训练数据污染问题，结果表明在准确性、运行时间和收敛速度方面均优于基于自动微分和近似求逆的以前提出的方法。
Nov, 2019
本文提出了一种新的完全单循环和免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下提出了更紧密的分析，进而展示了算法的普遍性。
Jun, 2023
通过利用非光滑隐函数定理，提出一种新的双层约束双目标函数优化的超梯度方法，并基于双动量方法和自适应步长方法提出了一种单循环单时间尺度算法，经证明它可以返回一个（δ，ε）- 稳定点，迭代次数约为 O (d2^2ε^-4)，在两个应用上的实验证明了该方法的有效性。
Jun, 2024
设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。
本文提出了一种使用 Bregman 距离、具有低计算复杂度的增强型双层优化方法 BiO-BreD 和 SBiO-BreD，以解决双层优化问题，该问题的外部子问题非凸且可能非光滑，内部子问题强凸。通过数据超清理任务和超表征学习任务，证明了所提出的算法优于相关的双层优化方法。
Jul, 2021
基于贝叶斯方法解决的逆问题，通常相对于先验只在参数空间的低维子空间上有信息。因此，可以利用该子空间对参数的后验分布进行近似计算。本文从近似后验协方差矩阵和后验均值两个角度，提出了两种快速的近似方法，并在多个应用案例中进行了验证。
Jul, 2014
本文讨论了双层优化问题，提出了第一和第二阶段方法，探究了优化的复杂度和速度，并提出了适用于分布式双层问题的简单算法。
基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。
Feb, 2021