May, 2024

自动微分在神经网络求解微分方程中的重要性

PDF
TL;DR神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。
neural network-based approachespartial differential equationsautomatic differentiationtruncated entropytraining perspective
发现论文，激发创造
  • 解决偏微分方程的快速分辨率无关的神经技术

    本文综述了传统的 PDE 数值逼近方法以及近期的基于机器学习的方法，重点介绍了以神经算子为中心的关键构架，这是一种学习 PDE 解算子的新方法，与传统方法相比具有 1000 倍的计算速度优势，这些新的计算方法可以在解决许多基础和应用物理问题方面带来巨大优势。

    Jan, 2023

  • 人工神经网络求解常微分方程和偏微分方程

    本研究提出了一种使用人工神经网络解决初始和边界值问题的方法，其中差分方程的试验解被写成两部分的和，第一部分满足边界条件，不包含任何可调参数，第二部分涉及前馈神经网络，包含可调参数（权重）。因此，通过构造满足边界条件的方法，使神经网络训练满足差分方程。本文通过解决各种模型问题并与有限元素进行比较，说明了该方法的适用性范围从单个 ODE 到耦合 ODE 系统，再到 PDE。

    May, 1997

  • 用采样神经网络解决偏微分方程

    利用采样方法，从数据无关和数据相关的概率分布中提取隐含权重和偏置的神经网络，可以在训练时间和逼近精度方面取得重大突破，并且能够有效解决时变和静态的偏微分方程以及逆问题，带来了光谱收敛和无网格构建基函数等优势。

    May, 2024

  • 复杂地形中偏微分方程的统一深度人工神经网络方法

    本文利用深度前馈人工神经网络近似求解复杂几何下的偏微分方程，并演示了如何修改反向传播算法来计算网络输出对空间变量的偏导数。此方法基于一种假设解法，只需要前馈神经网络和梯度优化方法，如梯度下降或拟牛顿方法，可以作为网格法无法使用时的有效替代方案。此外，本文还阐述了深度相比于浅度神经网络的优势及其他收敛增强技术的设想。

    Nov, 2017

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • PDE+：通过自适应分布扩散 PDE 增强泛化能力

    该论文提出了一种利用偏微分方程来改进神经网络泛化性能的方法，并将其实现为 PDE + (具有自适应分布扩散的 PDE)，该方法通过扩散每个样本以覆盖语义相似的输入分布，以改善泛化性能。

    May, 2023

  • 基于量子启发式张量神经网络求解偏微分方程

    本文介绍了如何通过 Tensor Neural Networks 来解决 Partial Differential Equations 的问题，实现了与 Deep Neural Network 同样精度的情况下更小的参数及更快的训练速度，并以 Black-Scholes-Barenblatt equation 模型为例进行了测试验证。

    Aug, 2022

  • 偏微分方程与深度神经网络的结合：综述

    本文对深度神经网络用于偏微分方程 (PDEs) 求解的现状和潜在应用进行了综述，分析和分类了相关方法在科学研究和工程场景中的应用，介绍了这一领域的来源、历史、特点、类型以及未来趋势。

    Oct, 2022

  • 利用人工神经网络解决参数化偏微分方程问题

    该研究论文展示了如何使用基于神经网络的方法用于数值偏微分方程中处理随机系数的问题，通过神经网络解决 PDE 问题从而简单和精确地表示物理量。

    Jul, 2017

  • NeuPDE: 基于神经网络的常微分方程和偏微分方程模型，用于建模时变数据

    使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。

    Aug, 2019