Feb, 2024

对偶 Lagrangian 学习用于锥优化

PDF
TL;DR该研究论文介绍了双拉格朗日学习 (DLL) 方法，该方法将锥对偶理论与机器学习模型的表示能力相结合。DLL 利用锥对偶性提供对偶可行解，从而为参数线性和非线性锥优化问题提供有效的拉格朗日对偶界限。该论文介绍了可微锥投影层、系统性的对偶完成过程和自监督学习框架。DLL 的有效性已在线性和非线性参数优化问题上得到证明，其中 DLL 提供的有效对偶界限与最优解相差不超过 0.5%。
dual lagrangian learningconic duality theoryrepresentation powerdllparametric optimization problems
发现论文，激发创造
  • 基于自监督的原始 - 对偶学习用于约束优化

    本文研究了如何训练机器学习模型直接逼近受约束优化问题的最优解，提出了一种新的自监督训练方法 Primal-Dual Learning（PDL），该方法不需要预先解决实例集合或优化程序来进行训练和推理，而是同时训练原始神经网络和对偶神经网络来模仿增广 Lagrangian 方法的轨迹，实验证明 PDL 在非线性优化基准测试中表现出极小的约束违规和微小的最优性差距，与 ALM 优化非常接近，并且在最优性差距、约束违规和训练时间方面表现出更好或相似的性能。

    Aug, 2022

  • 三维 SLAM 中的 Lagrangian 对偶：验证技术和最优解决方案

    本文提供了 Lagrangian duality 用于多智能体下载定位与地图制作中关于质量评价的解决方案。我们讨论了 SLAM 推理问题改良后的概率基础形式，推导了相应的拉格朗日对偶问题，并讨论了原始问题和对偶问题之间的关系。我们证明了可以在从对偶问题获得的情况下，计算 SLAM 问题的最优解并提供质量证书。

    Jun, 2015

  • 双内点优化学习

    该研究引入了双内点学习（DIPL）和双超梯度学习（DSL），用于学习具有有界变量的参数线性规划的对偶可行解，这在许多行业中普遍存在。DIPL 模拟了一种新颖的双内点算法，而 DSL 模拟了经典的对偶超梯度上升。DIPL 和 DSL 通过预测与约束相关的对偶变量，然后利用约束的对偶灵活性来确保对偶可行性。DIPL 和 DSL 通过提供质量证明来补充现有的主导学习方法。研究结果表明，它们能产生高保真度的对偶可行解，用于解决大规模的最优功率流问题，并在 0.5% 的最优性差距下提供有效的对偶界限。

    Feb, 2024

  • 学习带约束优化的深度增广 Lagrangian 方法

    机器学习模型通过训练来预测双重解估计，并从中构建原始估计，以形成双重可行解对。通过采用来自实际增广 Lagrangian 方法的技术，该训练方案可以改进，从而学习高度准确的有约束优化求解器，适用于凸和非凸问题。

    Mar, 2024

  • 约束学习问题的近似最优解

    通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

    Mar, 2024

  • 原始对偶连续学习：通过拉格朗日乘子实现稳定性和可塑性

    持续学习是一种受限制的学习问题，该研究通过利用记忆方法、拉格朗日对偶性和次优性界限来直 接解决这个问题，并在不同的持续学习基准测试中实验证实了理论结果。

    Sep, 2023

  • 高效非凸约束优化的双人博弈

    提出了一种称为 “代理拉格朗日” 的优化方案，用于在非凸约束条件下的分类问题，可应对非可微的约束条件，并能将分类器大小控制在不超过约束个数的 m+1 个内。

    Apr, 2018

  • 内存高效优化的锥下降

    通过对第一阶锥下降（CD）求解器进行直观性、理论性和算法实现方面的改进研究，发现 CD 可以通过对偶问题的几何推导得到直观的解释，从而为新算法设计打开了大门，其中包括动量变量 MOCO。进一步深入研究了 CD 和 MOCO 的对偶行为，揭示了解析合理的停止准则和设计预处理器以加快对偶收敛的潜力。最后，为了扩展半定规划（SDP）的规模，特别是对于低秩解，开发了一个内存高效的 MOCO 变体，并得到了数值验证。

    Aug, 2023

  • 双锥代理的交流最优电力流

    本研究针对交流最优潮流问题进行了基于机器学习的优化代理方法的探索，通过凸松弛和新型双重架构提供有效的对偶上下界，同时结合自监督学习策略，实现了高效和可扩展性的优化。

    Oct, 2023

  • 利用拉格朗日对偶框架近似求解背包问题

    利用拉格朗日对偶框架改进约束满足度的神经网络模型来近似解决背包问题，实验结果表明在强约束满足度下减少了最优解性能的一些损失。

    Dec, 2023