Mar, 2022

高维演化方程的神经 Galerkin 方案与主动学习

PDF
TL;DR该研究提出了一种新的基于深度学习的神经 Galerkin 方法，用于数值求解高维偏微分方程。该方法可以自适应地采集新的训练数据，以实现在高维空间中训练深度神经网络，从而成功地模拟了许多变量的系统中的波动和相互作用。
deep neural networksneural galerkin schemesnumerical solvinghigh-dimensional partial differential equationsactive learning
发现论文，激发创造
  • 随机稀疏神经 Galerkin 方案用于使用深度网络求解演化方程

    通过在时序中顺序训练神经网络来逼近时变偏微分方程的解场，有助于保持因果性和其他物理特性；然而，由于训练误差随时间快速累积和放大，时序训练的数值挑战很大。本研究引入了 Neural Galerkin 方案，该方案在每个时间步骤更新网络参数的随机稀疏子集。随机化的操作避免了局部时间上的过拟合问题，因此有助于防止误差在时序训练中快速累积。该方案的更新稀疏性减少了训练的计算成本，而不会失去表达能力，因为在每个时间步骤中，很多网络参数是冗余的。通过与密集更新方案进行的大量数值实验表明，使用随机稀疏更新的建议方案在固定计算预算下精度高出两个数量级，而在固定精度下速度快两个数量级。

    Oct, 2023

  • 神经 Galerkin 方案中的自适应采样：耦合参数和粒子动力学

    通过使用 Neural Galerkin schemes 方法，利用集合较少的粒子动态适应粒子来近似求解偏微分方程的深度神经网络训练过程中的误差，并在具有局部特征和高维空间域的问题中获得了准确的实证误差估计。

    Jun, 2023

  • DGM：一种用于解决偏微分方程的深度学习算法

    提出了一种名为 Deep Galerkin Method（DGM）的算法，它使用深度神经网络来解决高维偏微分方程问题。相较于形成网格，该算法不依赖于网格，而是通过对随机采样的时间和空间点的批量训练来实现。它在一类高维自由边界的偏微分方程、高维哈密顿 - 雅各比 - 贝尔曼（Hamilton-Jacobi-Bellman）偏微分方程和 Burgers 方程上得到了测试，并且在高维空间中能够准确地近似各种边界条件和物理条件下的 Burgers 方程的一般解。此外，论文还证明了神经网络在一类拟线性抛物型偏微分方程上的逼近能力。

    Aug, 2017

  • 用于求解偏微分方程的 Deep Galerkin 和 PINNs 方法的全局收敛性

    此研究论文探讨了如何利用深度学习的方法解决高维偏微分方程的问题，并证明了 Deep Galerkin Method 和 Physics Informed Neural Networks 神经网络逼近器的全局收敛性，随着隐藏单元数的增加，这些神经网络收敛于一个无限维线性常微分方程的解。

    May, 2023

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 基于深度 Galerkin 反馈法的智能体动力学最优控制

    通过采用基于漂移放松的采样方法，本文研究了 Deep Galerkin 方法所面临的采样问题，通过验证 Sznajd 和 Hegselmann-Krause 模型中的意见动态变化的多场控制问题，得出的策略在手动优化控制函数上实现了显著成本降低，并在 Deep FBSDE 方法上改进了线性 - 二次调节器问题。

    Jun, 2024

  • 用神经伽辽金方案嵌入以保持哈密顿量和其他数量的非线性

    该研究论文关注利用深度网络等非线性参数化近似解偏微分方程时，保持如 Hamiltonians、质量和动量等数量的守恒。研究提出的方法基于基于 Dirac-Frenkel 变分原理的神经 Galerkin 方案，在时间上逐步训练非线性参数化。论文首先表明仅添加连续时间内旨在保持数量守恒的约束可能不足够，因为参数的非线性依赖意味着即使对解场线性的数量在参数上也变为非线性，因此在时间上离散化变得困难。相反，论文提出了神经 Galerkin 方案，它在每个时间步计算出非线性参数化解场在流形上的显式嵌入，以确保数量的守恒。这些嵌入可以与标准的显式和隐式时间积分方案相结合。数值实验表明，所提出的方法可以保持数量守恒直至机器精度。

    Oct, 2023

  • 一种基于极限学习机的高维计算 PDEs 方法

    我们提出了两种基于随机神经网络解决高维偏微分方程 (PDE) 的有效方法。通过对这种类型网络的普适逼近性质的激励，这两种方法都将极限学习机 (ELM) 方法从低维扩展到高维。第一种方法中，$d$ 维度下未知解域由随机前向神经网络表示，其中隐藏层参数随机分配并固定，而输出层参数进行训练。PDE、边界 / 初值条件以及连续性条件 (对于方法的局部变量) 被施加在一组随机内部 / 边界对应点上。通过最小二乘解决其结果线性或非线性代数系统，从而得到网络参数的训练值。第二种方法通过一个基于近似理论的被约束表达式重新描述高维 PDE 问题，避免了随着维度增加而引发的 TFC 项数量的指数级增长。约束表达式中的自由域函数由随机神经网络表示，并通过类似于第一种方法的过程进行训练。我们进行了大量数值模拟，针对多个高维线性 / 非线性静态 / 动态 PDE，以展示这些方法的性能。与基于物理知识的神经网络 (PINN) 方法相比，当前方法在高维 PDEs 上既具有成本效益，又更准确。

    Sep, 2023

  • 使用深度学习求解高维偏微分方程

    通过使用神经网络逼近未知解的梯度来解决高维偏微分方程，该算法在包括非线性 Black-Scholes 方程、Hamilton-Jacobi-Bellman 方程和 Allen-Cahn 方程等方程上均取得了精确和低误差的结果。

    Jul, 2017

  • 深度隐式物理模型：非线性偏微分方程的深度学习

    本文提出了一种基于深度学习的方法，可以从散乱的、有可能带有噪声的时空数据中，发现非线性偏微分方程，该方法通过两个深度神经网络来近似未知解和非线性动力学，并测试了其在多个科学领域的效果。

    Jan, 2018