提出了一个使用鲁棒性优化（RO）增加人工神经网络（ANN）本地稳定性的通用框架。该算法是通过替代最小化-最大化过程实现的，该网络的损失是在每个参数更新时生成的扰动样本上最小化的。实验结果表明，该方法提高了网络对现有敌对示例的鲁棒性，同时使生成新的敌对示例更加困难，而且该算法还提高了网络在原始测试数据上的准确性。

Nov, 2015

本研究将生成式对抗网络的minimax博弈与一个凸优化问题中的Lagrangian函数的鞍点联系起来，并展示了标准GAN训练过程和凸优化的原始 - 对偶次梯度方法之间的联系。此外，本研究提出了一种新的目标函数来训练模型，以解决模式塌陷和生成多样化的问题。实验结果显示了该方法的有效性。

Feb, 2018

本文介绍了用于训练神经网络的优化算法、如何应对梯度消失等问题的解决方案、广义优化方法（如SGD、自适应梯度方法和分布式方法）以及神经网络训练中的全局问题。

Dec, 2019

研究了深度学习算法中存在的对抗性攻击问题，提供了一种新的对抗性训练算法，通过将最小-最大问题解释为最优控制问题进行优化，从而大幅度提高训练时间，并通过实验证明了该算法的稳定性和收敛性。

May, 2020

提出DeepLDE框架，使用等式嵌入和原始-对偶方法学习寻找无标签最优解决方案，保证可行解，并证明了收敛性。该方法可以更快速地解决具有等式和不等式约束的问题，并且在仿真结果中达到了最小的优化差距和最快的计算时间。

Jun, 2023

提出了一种用于深度神经网络（DNNs）的新颖正则化方法，将训练过程视为约束优化问题，利用随机增广拉格朗日乘子法（SAL）实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明该方法在图像分类任务上实现了更高的准确度并具有更好的约束满足性，从而展示其在受限设置下优化DNNs的潜力。

Oct, 2023

我们在无限维希尔伯特空间中提出了两种受限优化算法的深度学习实现，分别是罚函数法和增广拉格朗日法。通过在变分法或物理学中起源的一些玩具问题上测试这些算法，我们证明这两种方法能够为测试问题提供相当准确的近似，并且在不同误差方面具有可比性。利用拉格朗日乘子更新规则在计算上比在罚函数法中求解子问题更便宜的常见情况，当约束函数的输出本身是一个函数时，我们实现了显著的加速。

Jan, 2024

机器学习模型通过训练来预测双重解估计，并从中构建原始估计，以形成双重可行解对。通过采用来自实际增广Lagrangian方法的技术，该训练方案可以改进，从而学习高度准确的有约束优化求解器，适用于凸和非凸问题。

Mar, 2024

通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

Mar, 2024

传统数学规划求解器在解决复杂大规模物理系统的约束最小化问题时需要很长的计算时间，因此这些问题通常被转化为无约束问题，并通过基于一阶信息的计算高效优化方法（如梯度下降法）来解决。然而，在无约束问题中，平衡目标函数的最小化和约束违规的降低是具有挑战性的。我们考虑具有递增（可能是非线性和非凸的）目标函数和非递减（可能是非线性和非凸的）不等式约束的时间相关最小化问题。为了高效解决这些问题，我们提出了一种基于惩罚的护栏算法（PGA）。该算法通过动态更新约束的右手边与添加一个护栏变量来使其增加一定的余量以防止违规。我们在两个新颖的应用领域上评估PGA：一个是简化的区域供热系统模型，另一个是基于学习的深度神经网络导出的优化模型。我们的方法明显优于数学规划求解器和标准惩罚法，并在指定时间限制内比最先进的算法（IPDD）获得更好的性能和更快的收敛。

May, 2024