Jan, 2024

在无限维希尔伯特空间中学习一些玩具约束优化问题的解决方案

PDF
TL;DR我们在无限维希尔伯特空间中提出了两种受限优化算法的深度学习实现，分别是罚函数法和增广拉格朗日法。通过在变分法或物理学中起源的一些玩具问题上测试这些算法，我们证明这两种方法能够为测试问题提供相当准确的近似，并且在不同误差方面具有可比性。利用拉格朗日乘子更新规则在计算上比在罚函数法中求解子问题更便宜的常见情况，当约束函数的输出本身是一个函数时，我们实现了显著的加速。
deep learningconstrained optimizationhilbert spacespenalty methodaugmented lagrangian method
发现论文，激发创造
  • 约束下的黎曼流形优化简单算法

    本文介绍了扩展现有算法，从欧几里得情况到黎曼情况的从等式和不等式约束中考虑代码优化问题，在高维下实现计算效率与准确度的提高，具有重要的实践应用。

    Jan, 2019

  • PID Langrangian 方法实现的强化学习响应性安全性

    本研究解决拉格朗日算法在安全强化学习中产生超调和振荡的问题，提出了一种新的拉格朗日乘数更新方法，并将其应用于深度强化学习，成功在 Safety Gym 等安全基准中创造了新的最佳表现。

    Jul, 2020

  • 图像反问题的约束优化表达式的增广 Lagrangian 方法

    本文提出一种有效的算法来解决图像恢复应用中的约束问题，包括去卷积和从压缩观测中重建图像，使用总变差或小波（或更一般的框架）正则化。该算法属于增广 Lagrange 方法的范畴，并表现出在一定条件下具有收敛性。本文的结果表明，所提出的算法在图像恢复领域中具有最先进的技术水平。

    Dec, 2009

  • 约束学习问题的近似最优解

    通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

    Mar, 2024

  • 高效非凸约束优化的双人博弈

    提出了一种称为 “代理拉格朗日” 的优化方案，用于在非凸约束条件下的分类问题，可应对非可微的约束条件，并能将分类器大小控制在不超过约束个数的 m+1 个内。

    Apr, 2018

  • 通过显式约束简化 Hamiltonian 和 Lagrangian 神经网络

    通过将系统嵌入笛卡尔坐标并使用拉格朗日乘子显式地强制执行约束，本文证明了相较于使用广义坐标来编码系统约束的方法，使用笛卡尔坐标可以在准确度和数据效率方面提高 100 倍。

    Oct, 2020

  • 神经网络中的约束实现：一种随机增广拉格朗日方法

    提出了一种用于深度神经网络（DNNs）的新颖正则化方法，将训练过程视为约束优化问题，利用随机增广拉格朗日乘子法（SAL）实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明该方法在图像分类任务上实现了更高的准确度并具有更好的约束满足性，从而展示其在受限设置下优化 DNNs 的潜力。

    Oct, 2023

  • 学习旅行推销员问题的拉格朗日乘子

    应用图神经网络预测准确的 Lagrangian 乘子，作为生成 Held-Karp 松弛界限的初始值，并通过这种方法改进分支界定算法的过滤过程，从而加速优化证明的过程。

    Dec, 2023

  • 基于模型无关的无监督学习方法解决带约束优化问题

    本文提出一种无模型学习框架来解决无法推导出目标函数或限制条件的优化问题，同时将神经网络用于参数化所需优化的函数、参数化瞬时限制条件相关的拉格朗日乘数以及逼近未知的目标函数或限制条件。数值和模拟结果验证了所提出的框架的有效性，并以功率控制问题作为例子证明了模型无关学习的效率。

    Jul, 2019

  • 一个自适应增广拉格朗日方法用于训练具有物理约束和平等约束的人工神经网络

    采用增广 Lagrange 方法（ALM）解决前向和反向问题，为了进一步提高计算效率和节省计算成本，采用小批量训练。

    Jun, 2023