参数化偏微分方程的模型简化和神经网络
本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。
Mar, 2019
我们提出了一种基于有限维控制的方法来近似解决高维演化型偏微分方程的解算符。通过使用通用的降阶模型，例如深度神经网络，我们将模型参数的演化与相应函数空间中的轨迹连接起来。利用神经常微分方程的计算技术，我们学习参数空间上的控制，从而使受控轨迹与 PDE 的解非常接近。对于一类二阶非线性 PDE，我们验证了近似精确度。对几个高维 PDE，包括解决 Hamilton-Jacobi-Bellman 方程的真实应用，我们展示了所提方法的准确性和效率。
Jan, 2024
提出了一种新的数据驱动的降阶建模方法来高效求解参数化的偏微分方程问题，并利用隐式神经表示来对物理信号进行连续建模，而与空间 / 时间离散化无关。
Nov, 2023
利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。
Jun, 2018
该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。
Apr, 2023
本文探讨了近似理论对神经网络在数值分析实际学习问题中的影响，并以基于机器学习的参数化偏微分方程求解为例进行了全面的数值研究。研究表明，参数空间维度与求解子流形的内在维度对模型性能有微弱的影响。通过测试数据的优化和采样来确立测试用例之间的可比性。研究发现，近似理论对数值分析学习问题的实际行为产生了重要影响。
Apr, 2020
为了更好地理解神经网络对序列近似的精度和成本，本文针对序列近似任务，通过利用离散卷积和有限差分算子之间的联系，构造可以在保证性能的情况下，具有与实践中常用的序列近似任务的相似性的小型卷积神经网络，本文的理论结果得到了数值实验的支持。
May, 2023
利用神经网络在粗粒化离散空间中学习系统的动力学，并通过降维简化了时间模型的训练过程，同时展示了与在全序空间上操作的神经 PDE 求解器相比，该方法具有竞争力的准确性和效率。
Feb, 2024
我们提出了两种基于随机神经网络解决高维偏微分方程 (PDE) 的有效方法。通过对这种类型网络的普适逼近性质的激励，这两种方法都将极限学习机 (ELM) 方法从低维扩展到高维。第一种方法中，$d$ 维度下未知解域由随机前向神经网络表示，其中隐藏层参数随机分配并固定，而输出层参数进行训练。PDE、边界 / 初值条件以及连续性条件 (对于方法的局部变量) 被施加在一组随机内部 / 边界对应点上。通过最小二乘解决其结果线性或非线性代数系统，从而得到网络参数的训练值。第二种方法通过一个基于近似理论的被约束表达式重新描述高维 PDE 问题，避免了随着维度增加而引发的 TFC 项数量的指数级增长。约束表达式中的自由域函数由随机神经网络表示，并通过类似于第一种方法的过程进行训练。我们进行了大量数值模拟，针对多个高维线性 / 非线性静态 / 动态 PDE，以展示这些方法的性能。与基于物理知识的神经网络 (PINN) 方法相比，当前方法在高维 PDEs 上既具有成本效益，又更准确。
Sep, 2023
我们提出了一种多步算法，通过在编码器 - 解码器网络中引入稀疏性来减少参数的数量和潜在空间的额外压缩。该算法以稀疏初始化网络开始，并使用线性化的 Bregman 迭代进行训练。在训练之后，我们进一步通过使用一种适当的正交分解形式来压缩潜在空间的维度。最后，我们使用一种偏置传播技术将引入的稀疏性转化为参数的有效减少。我们将该算法应用于三个代表性的偏微分方程模型：1D 扩散、1D 平流和 2D 反应扩散。与 Adam 等传统训练方法相比，该方法在保持相似准确性的同时，减少了 30% 的参数数量和显著减小的潜在空间。
Jun, 2024