该研究提出了一种 Safe-L2O 框架，以获得优化算法和数据驱动算法的优势，该框架具有收敛保证且利用机器学习实现快速的数据驱动算法。

Mar, 2020

本研究采用了训练技巧来改善L2O模型的实际表现。我们提出了一种渐进式训练方案来缓解L2O模型中截断偏差和梯度爆炸之间的困境，并利用离策略模仿学习来引导L2O学习。结果表明，即使是最简单的L2O模型也可以通过这种改进的训练技巧在许多任务上胜过最新的复杂L2O模型。

Oct, 2020

本文研究了如何训练机器学习模型直接逼近受约束优化问题的最优解，提出了一种新的自监督训练方法Primal-Dual Learning（PDL），该方法不需要预先解决实例集合或优化程序来进行训练和推理，而是同时训练原始神经网络和对偶神经网络来模仿增广Lagrangian方法的轨迹，实验证明PDL在非线性优化基准测试中表现出极小的约束违规和微小的最优性差距，与ALM优化非常接近，并且在最优性差距、约束违规和训练时间方面表现出更好或相似的性能。

Aug, 2022

本论文考虑了一类具有偏微分方程约束条件的非光滑最优控制问题，采用了原始-对偶方法，并结合较大的步长或算子学习技术进行加速，其中加速的有效性经过了初步的数值结果验证。

Jul, 2023

采用图卷积网络的深度学习方法来优化通过拉格朗日松弛解决复杂约束的混合整数线性规划问题，通过训练编码器和解码器来最大化连续松弛和最佳拉格朗日界限之间的间隙，并提供一个高质量的下降启动点。

Oct, 2023

通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

Mar, 2024

本文中我们考虑在闭凸子集上最小化一个非光滑非凸的目标函数$f(x)$，同时满足附加的非光滑非凸约束$c(x) = 0$。我们开发了一个统一的框架来发展基于Lagrangian的方法，在每次迭代中通过某些子梯度方法对原始变量进行单步更新。这些子梯度方法被“嵌入”到我们的框架中，以黑盒更新原始变量的方式加以合并。我们证明了在温和条件下，我们提出的框架继承了这些嵌入子梯度方法的全局收敛性保证。此外，我们证明了我们的框架可以扩展到解决具有期望约束的约束优化问题。基于我们提出的框架，我们展示了一系列现有的随机子梯度方法，包括proximal SGD、proximal momentum SGD和proximal ADAM，可以嵌入到基于Lagrangian的方法中。对深度学习任务的初步数值实验表明，我们提出的框架可以为非凸非光滑约束优化问题提供高效的Lagrangian-based方法变体，并具有收敛性保证。

Apr, 2024

学习优化（L2O）介于传统优化和机器学习的交叉点，利用机器学习的能力增强传统优化技术，通过考虑实际应用的前提和优化问题的结构，提供了一个综合指南，加速优化算法并适应更加真实的应用。

May, 2024

将网络和对抗训练整合到约束优化问题中，开发一种用于约束优化问题的框架算法。通过用增广Lagrange方法将问题转化为最小最大问题，使用两个（或多个）深度神经网络（DNNs）分别表示原始和对偶变量。然后使用对抗过程训练神经网络中的参数，这种方法对不同约束条件的值尺度比基于惩罚的深度学习方法更加不敏感，通过这种训练方式，增广Lagrange乘子更好地实施了约束。通过广泛的实例来展示该方法的能力和鲁棒性，包括标量约束、非线性约束、偏微分方程约束和不等式约束优化问题，应用范围涵盖了Ginzburg-Landau能量最小化问题、分割问题、流体-固体拓扑优化以及障碍问题。

Jul, 2024

本研究针对多块ADMM类型方法中学习优化（L2O）的自然扩展鲜有探讨的问题，提出了一种新的L2O方法，通过监督学习自适应选择惩罚参数，以克服传统方法对参数选择敏感的缺陷。研究表明，该方法在Lasso问题和最优传输问题上的表现优于其他流行的替代方案，具有广泛的实际应用潜力。

Sep, 2024