Oct, 2023

随机稀疏神经 Galerkin 方案用于使用深度网络求解演化方程

PDF
TL;DR通过在时序中顺序训练神经网络来逼近时变偏微分方程的解场，有助于保持因果性和其他物理特性；然而，由于训练误差随时间快速累积和放大，时序训练的数值挑战很大。本研究引入了 Neural Galerkin 方案，该方案在每个时间步骤更新网络参数的随机稀疏子集。随机化的操作避免了局部时间上的过拟合问题，因此有助于防止误差在时序训练中快速累积。该方案的更新稀疏性减少了训练的计算成本，而不会失去表达能力，因为在每个时间步骤中，很多网络参数是冗余的。通过与密集更新方案进行的大量数值实验表明，使用随机稀疏更新的建议方案在固定计算预算下精度高出两个数量级，而在固定精度下速度快两个数量级。
neural networkstime-dependent partial differential equationssequential-in-time trainingneural galerkin schemesrandomized sparse updates
发现论文，激发创造
  • 高维演化方程的神经 Galerkin 方案与主动学习

    该研究提出了一种新的基于深度学习的神经 Galerkin 方法，用于数值求解高维偏微分方程。该方法可以自适应地采集新的训练数据，以实现在高维空间中训练深度神经网络，从而成功地模拟了许多变量的系统中的波动和相互作用。

    Mar, 2022

  • 神经 Galerkin 方案中的自适应采样：耦合参数和粒子动力学

    通过使用 Neural Galerkin schemes 方法，利用集合较少的粒子动态适应粒子来近似求解偏微分方程的深度神经网络训练过程中的误差，并在具有局部特征和高维空间域的问题中获得了准确的实证误差估计。

    Jun, 2023

  • 用神经伽辽金方案嵌入以保持哈密顿量和其他数量的非线性

    该研究论文关注利用深度网络等非线性参数化近似解偏微分方程时，保持如 Hamiltonians、质量和动量等数量的守恒。研究提出的方法基于基于 Dirac-Frenkel 变分原理的神经 Galerkin 方案，在时间上逐步训练非线性参数化。论文首先表明仅添加连续时间内旨在保持数量守恒的约束可能不足够，因为参数的非线性依赖意味着即使对解场线性的数量在参数上也变为非线性，因此在时间上离散化变得困难。相反，论文提出了神经 Galerkin 方案，它在每个时间步计算出非线性参数化解场在流形上的显式嵌入，以确保数量的守恒。这些嵌入可以与标准的显式和隐式时间积分方案相结合。数值实验表明，所提出的方法可以保持数量守恒直至机器精度。

    Oct, 2023

  • 稀疏噪声数据下参数偏微分方程的深度学习

    本文提出了一种新的框架，将神经网络、遗传算法和自适应方法相结合，应用于从稀疏噪声数据，不完整的备选库和空间或时间变化系数中发现偏微分方程。该方法在 Burgers 方程，对流扩散方程，波动方程和 KdV 方程上进行了测试，结果表明该方法对噪声数据具有鲁棒性，能够发现具有不完整备选库的参数 PDE。

    May, 2020

  • 用于非线性偏微分方程的稀疏深度神经网络

    本文通过使用深度神经网络结合稀疏规则化技术，针对非线性偏微分方程的解进行了数值研究，结果表明该方法在求解 Burgers 方程和 Schrödinger 方程时能够生成稀疏且准确的解。

    Jul, 2022

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 基于深度 Galerkin 反馈法的智能体动力学最优控制

    通过采用基于漂移放松的采样方法，本文研究了 Deep Galerkin 方法所面临的采样问题，通过验证 Sznajd 和 Hegselmann-Krause 模型中的意见动态变化的多场控制问题，得出的策略在手动优化控制函数上实现了显著成本降低，并在 Deep FBSDE 方法上改进了线性 - 二次调节器问题。

    Jun, 2024

  • 用于求解偏微分方程的 Deep Galerkin 和 PINNs 方法的全局收敛性

    此研究论文探讨了如何利用深度学习的方法解决高维偏微分方程的问题，并证明了 Deep Galerkin Method 和 Physics Informed Neural Networks 神经网络逼近器的全局收敛性，随着隐藏单元数的增加，这些神经网络收敛于一个无限维线性常微分方程的解。

    May, 2023

  • DGM：一种用于解决偏微分方程的深度学习算法

    提出了一种名为 Deep Galerkin Method（DGM）的算法，它使用深度神经网络来解决高维偏微分方程问题。相较于形成网格，该算法不依赖于网格，而是通过对随机采样的时间和空间点的批量训练来实现。它在一类高维自由边界的偏微分方程、高维哈密顿 - 雅各比 - 贝尔曼（Hamilton-Jacobi-Bellman）偏微分方程和 Burgers 方程上得到了测试，并且在高维空间中能够准确地近似各种边界条件和物理条件下的 Burgers 方程的一般解。此外，论文还证明了神经网络在一类拟线性抛物型偏微分方程上的逼近能力。

    Aug, 2017

  • 用采样神经网络解决偏微分方程

    利用采样方法，从数据无关和数据相关的概率分布中提取隐含权重和偏置的神经网络，可以在训练时间和逼近精度方面取得重大突破，并且能够有效解决时变和静态的偏微分方程以及逆问题，带来了光谱收敛和无网格构建基函数等优势。

    May, 2024