- ICML关于在约束优化中更新拉格朗日乘子的 PI 控制器
提出了 $
u$PI 算法，通过 PI 控制器对 Lagrange 乘数进行更新，相较于动量方法能够稳定约束优化问题的动力学，并且在单目标最小化中具有广泛适用性。
- 从数据中基于神经网络的方程发现：约束还是无约束？
通过解决受约束的优化问题并使用类似于物理 - Informed 神经网络（PINN）的中间状态表示，我们将 PDE 表示为神经网络，以发现 PDE。我们使用惩罚方法和广泛使用的约束 - 区域障碍方法解决了此约束优化问题，并在数值示例上比较了 - 通过黎曼梯度下降实现快速量子过程测量
我们在这篇论文中引入了一种改进的随机梯度下降方法，该方法综合了在黎曼优化的最新数值方法，旨在解决高维复杂结构问题中的量子过程测试问题。该方法通过数据驱动的方式实现了准确、数量级更快的结果，并且可以处理不完整的数据，并通过在量子计算机上表征了 - 学习在概率图模型中解决约束最可能解释任务
我们提出了一种自监督学习方法，用于解决对数线性模型或马尔可夫网络中的以下约束优化任务。通过使用深度神经网络，我们的方法能够在不需要访问任何预先计算的解的情况下，学习输出接近最优解的约束多概率解释问题的解决方案。
- AdamW 的隐式偏差: l∞范数约束优化
AdamW 在语言建模任务中表现出优越的性能，优于具有正则化 l2 项的 Adam 算法，本文通过分析表明 AdamW 隐式地进行了约束优化。
- 网络校准的类别和区域自适应约束
本文提出了一种新的方法来校准分割网络，考虑了不同类别和目标区域所带来的困难。具体来说，我们提出了一种将类别和区域约束融入学习目标的公式，利用多个惩罚权重来解决类别和区域差异的问题。然而，手动找到最佳的惩罚权重可能是不可行的，会阻碍优化过程。 - 约束多目标强化学习的尺度不变梯度聚集
多目标强化学习中，为了满足预定义的约束条件，我们提出了一种新的算法 CoMOGA，将原始的约束优化问题转化为带有附加约束的优化问题，并确保转换后的约束与原始目标具有相同效果并不依赖于目标尺度。经实证评估，该方法在满足约束和保持目标尺度不变方 - 在无限维希尔伯特空间中学习一些玩具约束优化问题的解决方案
我们在无限维希尔伯特空间中提出了两种受限优化算法的深度学习实现，分别是罚函数法和增广拉格朗日法。通过在变分法或物理学中起源的一些玩具问题上测试这些算法，我们证明这两种方法能够为测试问题提供相当准确的近似，并且在不同误差方面具有可比性。利用拉 - AAAIE2E-AT: 一个统一的框架用于应对任务感知的端到端学习中的不确定性
将机器学习、约束优化、端到端学习、不确定性和对抗训练作为关键词，该论文提出了一种统一框架来解决不确定性模型，并通过端到端对抗训练进行了实践求解，最后通过实际的电力系统运行问题的评估，包括负荷预测和顺序调度任务。
- 多层次约束优化问题中的随机黑盒模拟器
利用 Scout-Nd 算法进行多维随机约束优化，通过有效估计梯度、降低梯度估计噪声和应用多保真度方案，减少计算工作量，在标准基准测试中验证了该方法的有效性，表现出优于现有方法的性能。
- 带有未知参数约束的混合整数线性规划的两阶段预测 + 优化
我们提供了一个新的更简单更强大的框架称为 Two-Stage Predict+Optimize，可用于预测和优化的设置中，通过训练算法涵盖了所有混合整数线性程序，并且实验证明我们的训练框架在所有传统和最先进方法上具有卓越的预测性能。
- 平衡行动：在稀疏模型中约束不平等影响
通过直接解决剪枝带来的不一致影响，我们的研究提出了一种约束优化方法，通过在每个子组中限制密集模型和稀疏模型之间的准确度变化来确定剪枝模型是否达到可接受的不一致水平。实验证实了我们的技术在解决涉及大型模型和数百个受保护子组的问题上具有可靠的可 - 神经网络中的约束实现：一种随机增广拉格朗日方法
提出了一种用于深度神经网络（DNNs）的新颖正则化方法，将训练过程视为约束优化问题，利用随机增广拉格朗日乘子法（SAL）实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明该方法在图像分类任务上实现了更高的准确度并具有更好 - 非凸优化中找到稳定点的计算复杂度
非凸优化中寻找近似驻点的计算和查询复杂性是本文的关键研究内容，其中包括在无约束域中寻找近似驻点的问题的 PLS 完备性、二维情况下的零阶算法以及近似驻点的查询复杂性的特征化，同时还研究了约束优化问题中寻找近似 KKT 点的查询复杂性，并指出 - 多约束最优下的本地导航多技能学习
通过约束优化观点，本文在多样性和质量之间的权衡中获得不同的策略，以及通过吸引 - 排斥奖励项来控制多样性水平，在本文中展示了这种方法的有效性，并成功地在一个本地导航任务中训练出的策略转移到了实际的四足机器人 Solo12 上，并展示了多样的 - 最佳和公平的激励政策评估与学习
连同统计可减少方差的估计和鲁棒估计在内，研究了在可能违反正性的情况下的最优治疗规则的因果识别和估计，以及如公平性等约束通过约束优化处理，并提出了用于获得方差敏感性遗憾界的多参数政策类的两阶段算法。
- 帕累托集上的优化：多目标优化理论
在多目标优化中，考虑到平衡多个目标之间的权衡，解决方案在最优权衡方面被称为帕累托最优；我们研究了解决帕累托集约束优化问题的本地方法，这是一个具有挑战性的问题，因为约束集不仅是隐式定义的，而且通常在目标函数是非凸非光滑的情况下。
- RAYEN: 对神经网络强制采用硬凸约束
本文介绍了 RAYEN 框架，该框架能够在神经网络的输出或潜变量上施加硬凸约束，支持任意线性、凸二次、二阶锥和线性矩阵不等式约束，有效提高了性能并保证在所有时刻满足约束条件
- 自监督平等嵌入深度拉格朗日对偶算法在近似约束优化中的应用
提出 DeepLDE 框架，使用等式嵌入和原始 - 对偶方法学习寻找无标签最优解决方案，保证可行解，并证明了收敛性。该方法可以更快速地解决具有等式和不等式约束的问题，并且在仿真结果中达到了最小的优化差距和最快的计算时间。
- 昂贵嵌套灰盒函数的贝叶斯优化
本文提出了一种灰盒优化算法，利用 Bayesian 优化框架和 optism-driven 算法，在常用 Kernel 函数下表现出收敛速度优异的特点，这个算法在常规黑盒算法之上大幅提高了全局最优解求解的速度。