ICLRMay, 2023

动力系统中隐式神经网络的长期预测稳定性

PDF
TL;DR介绍了一种稳定的自回归隐式神经网络用于长期预测，通过在权重上应用硬约束传播潜在空间中的动态，证明了其稳定性并在两个输运 PDE 的长期预测中获得了改进的结果。
forecastingphysical signalspartial differential equationsdeep learningimplicit neural network
发现论文，激发创造
  • 利用物理约束深度自回归网络模拟 PDE 系统动态

    本文提出了一种基于物理约束的深度学习模型，通过自动回归密集编码器 - 解码器卷积神经网络建模非线性动力学系统，实现对时间步骤的预测量进行不确定性量化，并利用其在多个非线性瞬态偏微分方程系统上进行测试。

    Jun, 2019

  • 深度神经网络的选择动态

    本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。

    May, 2019

  • 自回归神经算子稳定性探究

    该研究分析了神经操作符模型中自回归误差增长的来源，并探索了减轻其影响的方法，其原理在于引入架构和应用特定的改进，以在不增加计算和内存负担的情况下对这些模型中导致不稳定性的操作进行仔细控制，实验表明采用研究团队的设计原则来构建典型的神经网络模型可以显著降低长期预测的错误率，同时能够在预测时增加 8 倍的时间跨度而不出现发散的迹象。

    Jun, 2023

  • 物理结合的卷积循环神经网络用于动态系统的源识别和预测

    本文介绍 PhICNet 的混合框架，将基于物理的数值模型与深度学习结合，实现源识别和预测。实验结果表明，该模型可以长时间预测动态和确定外部引力源。

    Apr, 2020

  • 从部分观测中学习动态系统

    本文研究使用数据驱动框架和神经网络来预测复杂的非线性时空过程，并表现出显著的改进。

    Feb, 2019

  • 自动微分在神经网络求解微分方程中的重要性

    神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。

    May, 2024

  • NeuPDE: 基于神经网络的常微分方程和偏微分方程模型，用于建模时变数据

    使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。

    Aug, 2019

  • 使用物理感知神经网络解决反问题偏微分方程

    本文提出了一种新型的混合反向问题复合框架，将深度神经网络的高表现力与现有偏微分方程数值算法相结合，通过语义自编码器的自定义层，将计算数学、机器学习和模式识别技术融合在一起，实现了域特定知识和物理约束的综合应用，解决了大量数据中的未知字段这个问题，称之为混合反向 PDE 网络 (BiPDE 网络)，并在一维和二维空间中的泊松问题中，以及一维的时间依赖和非线性 Burgers 方程中，应用和证明了其可行性和噪声鲁棒性。

    Jan, 2020

  • 神经偏微分方程求解中的自回归复兴

    “Message Passing Neural PDE Solver” by Brandstetter et al. designs a graph neural network that outperforms both Fourier Neural Operator and classical PDE solvers in generalization capabilities and performance, addressing instability in autoregressive models.

    Oct, 2023

  • 深度隐式物理模型：非线性偏微分方程的深度学习

    本文提出了一种基于深度学习的方法，可以从散乱的、有可能带有噪声的时空数据中，发现非线性偏微分方程，该方法通过两个深度神经网络来近似未知解和非线性动力学，并测试了其在多个科学领域的效果。

    Jan, 2018