用于非线性偏微分方程的稀疏深度神经网络

Jul, 2022

用于非线性偏微分方程的稀疏深度神经网络

Sparse Deep Neural Network for Nonlinear Partial Differential Equations

Yuesheng Xu, Taishan Zeng

TL;DR本文通过使用深度神经网络结合稀疏规则化技术，针对非线性偏微分方程的解进行了数值研究，结果表明该方法在求解 Burgers 方程和 Schrödinger 方程时能够生成稀疏且准确的解。

Abstract

More competent learning models are demanded for data processing due to increasingly greater amounts of data available in applications. Data that we encounter often have certain embedded sparsity structures. That is, if they are represented in an appropriate basis, their energies can co

competent learning models sparse regularization nonlinear partial differential equations deep neural networks numerical study

发现论文，激发创造

高维随机偏微分方程深度神经网络代理

利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

Jun, 2018

深度隐式物理模型：非线性偏微分方程的深度学习

本文提出了一种基于深度学习的方法，可以从散乱的、有可能带有噪声的时空数据中，发现非线性偏微分方程，该方法通过两个深度神经网络来近似未知解和非线性动力学，并测试了其在多个科学领域的效果。

Jan, 2018

修正的深度神经网络克服非线性僵硬系统的零和博弈中非平滑价值函数的维度诅咒

该研究表明，对于具有强刚性系数的广泛控制随机微分方程，相关零和博弈的价值函数可以由深度人工神经网络来表示，该网络的复杂度在状态方程的维度和所需精度的倒数方面都呈多项式增长。

Mar, 2019

NeuPDE: 基于神经网络的常微分方程和偏微分方程模型，用于建模时变数据

使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。

Aug, 2019

基于物理信息的深度学习和压缩选点法，高维扩散反应方程的实际存在理论和数值计算

利用稀疏技术和随机采样的最新进展，本研究基于深度学习开发和分析了一个高维偏微分方程求解器，理论和数值结果表明其在稳定性和准确性方面可以与一个新型的压缩谱逼近方法竞争，并证明了存在一类可训练的深度神经网络，具有适当的网络结构和样本复杂度的充分条件，并以对数或最坏情况下的线性扩展在维度上稳定且准确地逼近扩散 - 反应型偏微分方程的高概率。

Jun, 2024

神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

Sep, 2018

演化深度神经网络

本文引入了一种演化深度神经网络模型，用于求解偏微分方程，通过在参数空间内更新神经网络权重来预测状态空间轨迹，边界条件嵌入神经网络中，对多个方程模型进行了理论和实验模拟，验证了模型精确和实用性。

Mar, 2021

稀疏噪声数据下参数偏微分方程的深度学习

本文提出了一种新的框架，将神经网络、遗传算法和自适应方法相结合，应用于从稀疏噪声数据，不完整的备选库和空间或时间变化系数中发现偏微分方程。该方法在 Burgers 方程，对流扩散方程，波动方程和 KdV 方程上进行了测试，结果表明该方法对噪声数据具有鲁棒性，能够发现具有不完整备选库的参数 PDE。

May, 2020

基于量子启发式张量神经网络求解偏微分方程

本文介绍了如何通过 Tensor Neural Networks 来解决 Partial Differential Equations 的问题，实现了与 Deep Neural Network 同样精度的情况下更小的参数及更快的训练速度，并以 Black-Scholes-Barenblatt equation 模型为例进行了测试验证。

Aug, 2022

奇点扰动的神经网络

我们在简化的双曲线两点边界值问题的模型类别中，证明了解集的深度神经网络 (DNN) 表达能力率的上界，并给出了与奇异扰动参数一致的 Sobolev 范数上的表达能力上界。我们证明了各种 DNN 体系结构的表达能力率上界，包括 ReLU NN，spiking NN，$ anh$- 和 sigmoid-activated NN。后者激活函数可以显式地表示 “指数性边界层解特征”，在 DNN 的最后一层中，即在浅层子网络中，并具有更好的表达能力率上界。我们证明了所有 DNN 体系结构均允许在所谓的 “能量” 和 “平衡” Sobolev 范数中，对于解析输入数据进行强大的指数解表达能力。

Jan, 2024