本文提出了一种原始 - 对偶算法框架，以获得近似解决方案来解决典型的约束凸优化问题，并严格描述了常见结构假设如何影响数值效率。通过选择双重平滑策略和中心点，我们的框架将分解算法、增广 Lagrange 以及交替方向乘子方法作为其特殊情况，并为所有迭代的原始目标残差和原始可行性间隙提供最优收敛速率。
Jun, 2014
通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。
Mar, 2024
提出了一种称为 “代理拉格朗日” 的优化方案，用于在非凸约束条件下的分类问题，可应对非可微的约束条件，并能将分类器大小控制在不超过约束个数的 m+1 个内。
Apr, 2018
提出 DeepLDE 框架，使用等式嵌入和原始 - 对偶方法学习寻找无标签最优解决方案，保证可行解，并证明了收敛性。该方法可以更快速地解决具有等式和不等式约束的问题，并且在仿真结果中达到了最小的优化差距和最快的计算时间。
Jun, 2023
本文提出一种无模型学习框架来解决无法推导出目标函数或限制条件的优化问题，同时将神经网络用于参数化所需优化的函数、参数化瞬时限制条件相关的拉格朗日乘数以及逼近未知的目标函数或限制条件。数值和模拟结果验证了所提出的框架的有效性，并以功率控制问题作为例子证明了模型无关学习的效率。
Jul, 2019
通过动态形式化的最优输运，结合底层几何学（动能）选择和密度路径（势能）的正则化，构造了多种变分问题（Lagrangians），包括 Schrödinger 桥、非平衡最优输运和具有物理约束的最优输运等。采用双重 Lagrangians 的对偶形式提出了一种新颖的基于深度学习的统一框架，无需模拟或反向传播经过学习动力学的轨迹，并且不需要访问最优耦合。通过在单细胞轨迹推断中融入先验知识，展示了所提框架的多功能性能，从而在正确预测方面优于先前方法。
Oct, 2023
应用图神经网络预测准确的 Lagrangian 乘子，作为生成 Held-Karp 松弛界限的初始值，并通过这种方法改进分支界定算法的过滤过程，从而加速优化证明的过程。
Dec, 2023
提出了一种用于深度神经网络（DNNs）的新颖正则化方法，将训练过程视为约束优化问题，利用随机增广拉格朗日乘子法（SAL）实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明该方法在图像分类任务上实现了更高的准确度并具有更好的约束满足性，从而展示其在受限设置下优化 DNNs 的潜力。
我们在无限维希尔伯特空间中提出了两种受限优化算法的深度学习实现，分别是罚函数法和增广拉格朗日法。通过在变分法或物理学中起源的一些玩具问题上测试这些算法，我们证明这两种方法能够为测试问题提供相当准确的近似，并且在不同误差方面具有可比性。利用拉格朗日乘子更新规则在计算上比在罚函数法中求解子问题更便宜的常见情况，当约束函数的输出本身是一个函数时，我们实现了显著的加速。
Jan, 2024
通过 Lagrangian 分解，提出了一种新的神经网络验证方法，其在 GPU 上实施时可提供有效的结果，以推测最大化值的边界，并且可以随时停止，可用于推导形式化验证。
Feb, 2020