Clifford 神经层用于 PDE 建模

ICLRSep, 2022

Clifford Neural Layers for PDE Modeling

Johannes Brandstetter, Rianne van den Berg, Max Welling, Jayesh K. Gupta

TL;DR本研究使用多向量场与 Clifford 卷积、Clifford Fourier 变换相结合的方法来加速神经 PDE 代理，取得了比常规方法更好的预测效果。

Abstract

partial differential equations (PDEs) see widespread use in sciences and engineering to describe simulation of physical processes as scalar and vector fields interacting and coevolving over time. Due to the computationally expensive nature of their standard solution methods,

partial differential equations neural pde surrogates multivector fields clifford convolutions generalization capabilities

发现论文，激发创造

向量化的条件神经场：用于解决时变参数的偏微分方程的框架

使用矢量化条件神经场模型（VCNeFs），并结合注意力机制，通过并行计算多个时空查询点的解决方案并对其依赖关系进行建模，解决了 Transformer 模型在求解偏微分方程方面的问题，并具有优于现有机器学习模型的竞争力。

Jun, 2024

参数偏微分方程的傅里叶神经算子

该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。

Oct, 2020

基于多层卷积神经网络的参数化偏微分方程求解

该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。

Apr, 2023

使用物理感知神经网络解决反问题偏微分方程

本文提出了一种新型的混合反向问题复合框架，将深度神经网络的高表现力与现有偏微分方程数值算法相结合，通过语义自编码器的自定义层，将计算数学、机器学习和模式识别技术融合在一起，实现了域特定知识和物理约束的综合应用，解决了大量数据中的未知字段这个问题，称之为混合反向 PDE 网络 (BiPDE 网络)，并在一维和二维空间中的泊松问题中，以及一维的时间依赖和非线性 Burgers 方程中，应用和证明了其可行性和噪声鲁棒性。

Jan, 2020

偏微分方程与深度神经网络的结合：综述

本文对深度神经网络用于偏微分方程 (PDEs) 求解的现状和潜在应用进行了综述，分析和分类了相关方法在科学研究和工程场景中的应用，介绍了这一领域的来源、历史、特点、类型以及未来趋势。

Oct, 2022

以偏微分方程为基础的深度神经网络

该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

Apr, 2018

解决偏微分方程的快速分辨率无关的神经技术

本文综述了传统的 PDE 数值逼近方法以及近期的基于机器学习的方法，重点介绍了以神经算子为中心的关键构架，这是一种学习 PDE 解算子的新方法，与传统方法相比具有 1000 倍的计算速度优势，这些新的计算方法可以在解决许多基础和应用物理问题方面带来巨大优势。

Jan, 2023

时空连续的偏微分方程预测使用等变神经场

通过保留潜空间中的几何信息，我们提出了一个基于连续空间时间的条件神经场求解框架，以尊重已知偏微分方程的对称性，并显示出模型在一些具有挑战性的几何结构中超越基线，并在空间和时间上适用于未见过的位置和几何变换的初始条件。

Jun, 2024

使用神经场进行算子学习：解决一般几何图形下的偏微分方程

该研究论文介绍了一种名为 CORAL 的新方法，利用基于坐标的网络来解决常规几何图形上的偏微分方程问题，并展示了其在不同分辨率下的稳健表现。

Jun, 2023

一种基于极限学习机的高维计算 PDEs 方法

我们提出了两种基于随机神经网络解决高维偏微分方程 (PDE) 的有效方法。通过对这种类型网络的普适逼近性质的激励，这两种方法都将极限学习机 (ELM) 方法从低维扩展到高维。第一种方法中，$d$ 维度下未知解域由随机前向神经网络表示，其中隐藏层参数随机分配并固定，而输出层参数进行训练。PDE、边界 / 初值条件以及连续性条件 (对于方法的局部变量) 被施加在一组随机内部 / 边界对应点上。通过最小二乘解决其结果线性或非线性代数系统，从而得到网络参数的训练值。第二种方法通过一个基于近似理论的被约束表达式重新描述高维 PDE 问题，避免了随着维度增加而引发的 TFC 项数量的指数级增长。约束表达式中的自由域函数由随机神经网络表示，并通过类似于第一种方法的过程进行训练。我们进行了大量数值模拟，针对多个高维线性 / 非线性静态 / 动态 PDE，以展示这些方法的性能。与基于物理知识的神经网络 (PINN) 方法相比，当前方法在高维 PDEs 上既具有成本效益，又更准确。

Sep, 2023