Sep, 2023

求解偏微分方程之无导数损失方法之分析

PDF
TL;DR该研究分析了使用神经网络解决一类椭圆型偏微分方程的无导数损失方法。该方法利用费曼 - 卡克公式，结合随机游走和其相应的平均值。我们研究了费曼 - 卡克公式中与时间间隔相关的效果，以及与计算效率、可训练性和采样误差的关系。我们的分析表明，训练损失的偏差与时间间隔和神经网络的空间梯度成正比，与游走大小成反比。我们还表明，时间间隔必须足够长以训练网络。这些分析结果告诉我们可以根据时间间隔的最优下限尽可能选择较小的游走大小。我们还提供数值测试来支持我们的分析。
发现论文，激发创造
  • 求解带有神经网络的偏微分方程过程中的损失跃迁

    通过研究不同损失函数对神经网络解决偏微分方程的训练的影响，我们发现从数据损失到模型损失切换时会出现稳定的损失跃变现象， 进一步实验证明这一现象源于神经网络在不同损失函数下的频率偏好，这为研究神经网络在解决偏微分方程时的内在机制提供了有价值的视角。

    May, 2024

  • 物理信息神经网络中积分损失的学习

    本文提出了针对基于部分积分 - 微分方程训练物理启发网络的问题的解决方案，包括三种类型的解决方法，证实了当前的近似方法的存在偏差，提出了新的延迟目标方法，证明其可以以可比的质量获得精确的解决方案。

    May, 2023

  • 通过基于有限差分的非监督小型线性卷积神经网络解决椭圆和抛物问题

    我们提出了一种完全无监督的方法，通过小型卷积神经网络直接估计偏微分方程的有限差分解，以解决常规神经网络方法在估计 PDE 解时遇到的泛化差距问题。与有限差分法相比，我们的算法在几个选定的椭圆和抛物问题的真实解上展示了相当准确的结果。

    Nov, 2023

  • 用采样神经网络解决偏微分方程

    利用采样方法，从数据无关和数据相关的概率分布中提取隐含权重和偏置的神经网络，可以在训练时间和逼近精度方面取得重大突破，并且能够有效解决时变和静态的偏微分方程以及逆问题，带来了光谱收敛和无网格构建基函数等优势。

    May, 2024

  • 非线性双曲型偏微分方程的基于学习的解法：关于广义误差的经验研究

    利用 Fourier 神经算子学习非线性双曲型偏微分方程的弱解并采用物理学启发式正则化策略可以提高模型的预测能力，研究表明 Fourier 神经算子具有良好的泛化能力，尽管随着初始和边界条件的分布复杂度线性增长，其泛化误差也呈现线性增长。

    Feb, 2023

  • 关于在尊重因果关系下训练物理知识驱动神经网络的最优损失函数

    本研究提出了一种方法，可以将带有初始和边界条件的微分方程问题简化为仅由微分方程描述的问题，并基于广义函数构造了新的加权损失函数，以提高物理启发神经网络的准确性。

    Apr, 2023

  • FiniteNet：一种用于时间相关偏微分方程的全卷积 LSTM 网络架构

    本文介绍了一种利用机器学习方法来减少时间依赖性偏微分方程数值求解误差的方法，使用全卷积 LSTM 网络来利用偏微分方程的时空动态性，提高常规有限差分和有限体积法的精度，并通过对模拟数据的训练和三个不同动态学特征的偏微分方程实例的演示，表明该方法与其他算法相比误差降低了 2 到 3 倍。

    Feb, 2020

  • 物理信息操作学习与有限元法的参数学习偏微分方程的融合

    利用物理知识驱动的深度学习方法在异质固体中解决参数化偏微分方程，它的关键是建立复杂的热导率分布、温度分布和热流分量之间的联系，通过固定边界条件，在这项工作中，我们独立于有限元方法等经典求解器，并通过基于离散弱形式的损失函数定义方法给出出色的结果，该损失函数是一个代数方程，大大提高了训练效率。通过将我们的方法与标准有限元方法进行基准测试，我们展示了使用训练有素的神经网络在温度和通量剖面方面进行准确且更快的预测，我们还展示了在未知情况下，与纯数据驱动方法相比，所提出的方法具有更高的准确性。

    Jan, 2024

  • 自动微分在神经网络求解微分方程中的重要性

    神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。

    May, 2024

  • 微孔域中椭圆问题的随机方法

    提出了一种基于神经网络的无网格方法来解决具有孔洞领域的 PDE 模型问题，该方法能够捕捉各种尺度的配置，包括由小孔洞引起的多尺度特性，并采用了无导数损失方法处理领域与孔洞之间的界面。通过一系列严格的数值测试支持了该方法在处理不同孔洞尺度问题上的有效性。

    Mar, 2024