Jun, 2023

一个自适应增广拉格朗日方法用于训练具有物理约束和平等约束的人工神经网络

PDF
TL;DR采用增广 Lagrange 方法（ALM）解决前向和反向问题，为了进一步提高计算效率和节省计算成本，采用小批量训练。
physicsconstrained optimizationpartial differential equationsartificial neural networksaugmented lagrangian method
发现论文，激发创造
  • 物理启发式神经网络的增广拉格朗日松弛方法

    本研究提出了一种基于增广拉格朗日方法的 Physics-Informed Neural Networks (AL-PINNs) 算法，用于优化偏微分方程的残差问题，并通过数值实验证明了该方法相较于现有的自适应损失平衡算法具有更小的相对误差。

    Apr, 2022

  • 非凸优化及非线性约束问题的不精确增广 Lagrangian 框架

    本研究提出了一种实用的不精确增广拉格朗日方法（iALM）用于具有非凸问题和非线性约束，这种方法可以在计算复杂度上符合理论结果。

    Jun, 2019

  • 约束非凸优化的提速不精确增广拉格朗日方法

    本研究提出了一种改进的不精确增广拉格朗日方法（iALM），并通过统一分析证明了针对具有线性等式或非凸约束的非凸问题的 iALM 的高效性，该算法在实践中比罚函数方法表现显著更好。我们的数值实验验证了所提出的方法的有效性，具有重要的理论和实践意义。

    Jul, 2020

  • 弱正交约束下的多项式增强神经网络 (PANNs) 在功能和 PDE 逼近中的应用

    我们提出了多项式增强神经网络（PANNs），一种结合了深度神经网络（DNNs）和多项式逼近的新型机器学习架构。通过这些实验，我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能，同时在回归具有有限平滑性的函数时，也比多项式和基于 DNN 的回归方法具有更高的准确性。

    Jun, 2024

  • 具有线性约束的非凸优化问题的 Moreau 包络增广 Lagrangian 方法

    本文提出了一种基于 Moreau 包络的增广 Lagrange 方法（MEAL）来解决具有非凸（弱凸）并且非光滑目标的线性约束问题，证明其收敛性，并提出两种实际变体 iMEAL 和 LiMEAL 以解决子问题无解析解且难以求解的约束问题。

    Jan, 2021

  • 连续约束优化在结构学习中的收敛性

    该研究探讨了用增广 Lagrange 方法 (ALM) 和二次惩罚方法 (QPM) 求解结构学习的连续优化问题，发现 ALM 的收敛性质在线性、非线性和混淆情况下实际上和 QPM 相似，在 QPM 的渐近条件下收敛到有向无环图 (DAG) 解决方案，并将理论结果与现有方法相连接，验证了实验比较。

    Nov, 2020

  • 在无限维希尔伯特空间中学习一些玩具约束优化问题的解决方案

    我们在无限维希尔伯特空间中提出了两种受限优化算法的深度学习实现，分别是罚函数法和增广拉格朗日法。通过在变分法或物理学中起源的一些玩具问题上测试这些算法，我们证明这两种方法能够为测试问题提供相当准确的近似，并且在不同误差方面具有可比性。利用拉格朗日乘子更新规则在计算上比在罚函数法中求解子问题更便宜的常见情况，当约束函数的输出本身是一个函数时，我们实现了显著的加速。

    Jan, 2024

  • 通过显式约束简化 Hamiltonian 和 Lagrangian 神经网络

    通过将系统嵌入笛卡尔坐标并使用拉格朗日乘子显式地强制执行约束，本文证明了相较于使用广义坐标来编码系统约束的方法，使用笛卡尔坐标可以在准确度和数据效率方面提高 100 倍。

    Oct, 2020

  • 神经网络中的约束实现：一种随机增广拉格朗日方法

    提出了一种用于深度神经网络（DNNs）的新颖正则化方法，将训练过程视为约束优化问题，利用随机增广拉格朗日乘子法（SAL）实现更灵活高效的正则化机制，对白盒模型进行改进以确保可解释性，实验证明该方法在图像分类任务上实现了更高的准确度并具有更好的约束满足性，从而展示其在受限设置下优化 DNNs 的潜力。

    Oct, 2023

  • 一种基于极限学习机的高维计算 PDEs 方法

    我们提出了两种基于随机神经网络解决高维偏微分方程 (PDE) 的有效方法。通过对这种类型网络的普适逼近性质的激励，这两种方法都将极限学习机 (ELM) 方法从低维扩展到高维。第一种方法中，$d$ 维度下未知解域由随机前向神经网络表示，其中隐藏层参数随机分配并固定，而输出层参数进行训练。PDE、边界 / 初值条件以及连续性条件 (对于方法的局部变量) 被施加在一组随机内部 / 边界对应点上。通过最小二乘解决其结果线性或非线性代数系统，从而得到网络参数的训练值。第二种方法通过一个基于近似理论的被约束表达式重新描述高维 PDE 问题，避免了随着维度增加而引发的 TFC 项数量的指数级增长。约束表达式中的自由域函数由随机神经网络表示，并通过类似于第一种方法的过程进行训练。我们进行了大量数值模拟，针对多个高维线性 / 非线性静态 / 动态 PDE，以展示这些方法的性能。与基于物理知识的神经网络 (PINN) 方法相比，当前方法在高维 PDEs 上既具有成本效益，又更准确。

    Sep, 2023