巴拿赫空间之间全纯算子的最优深度学习

Jun, 2024

巴拿赫空间之间全纯算子的最优深度学习

Optimal deep learning of holomorphic operators between Banach spaces

Ben Adcock, Nick Dexter, Sebastian Moraga

TL;DR通过将任意近似编码器和解码器与标准前馈深度神经网络 (DNN) 体系结构相结合，我们提出了学习巴拿赫空间之间的算子的问题。我们首先确定了一组 DNN 的族群，使得由这些深度学习 (DL) 过程所获得的产生出算子可以达到最佳的泛化性能。接下来，我们证明了 DL 对于这个问题是最优的，没有任何恢复过程可以超越这些泛化界限。最后，我们展示了在具有挑战性的问题上的实际性能，包括参数扩散、Navier-Stokes-Brinkman 和 Boussinesq 偏微分方程组。

Abstract

operator learning problems arise in many key areas of scientific computing where Partial Differential Equations (PDEs) are used to model physical systems. In such scenarios, the operators map between Banach or Hilbert spaces. In this work, we tackle the problem of learning operators be

operator learning banach spaces holomorphic operators deep learning generalization bounds

发现论文，激发创造

神经算子：学习函数空间之间映射

本研究介绍了神经算子，它是一种学习算子的新型神经网络，能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理，可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法，并在偏微分方程的解算子的代理映射中应用了神经算子，结果表明相较于传统 PDE 求解器和现有的机器学习方法，神经算子具有更好的性能优势且速度更快。

Aug, 2021

在潜在空间中学习提高深度神经算子的预测准确性

使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

Apr, 2023

操作员学习：算法与分析

通过对机器学习理念在函数巴拿赫空间之间进行映射的（通常是非线性）算子的应用，可以构建近似算子，这些算子通常源于用偏微分方程（PDEs）表达的物理模型。近似算子在许多查询任务中具有巨大的潜力，作为传统数值方法的高效代理模型。由于数据驱动，当无法提供基于 PDE 的数学描述时，它们还可以进行模型发现。本综述主要关注神经算子，其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看，神经算子在各种应用中都显示出了成功，但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识，着重从逼近理论的角度来看。

Feb, 2024

参数偏微分方程的傅里叶神经算子

该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。

Oct, 2020

神经算子与能量理论结合：哈密顿和耗散偏微分方程的算子学习

该论文提出了能量一致性神经算子（ENO），这是一种学习偏微分方程的解算子的通用框架，其遵循观测到的解轨迹满足能量守恒或耗散定律。该框架使用受物理能量理论启发的新型惩罚函数进行训练，能够通过另一个深度神经网络对能量泛函进行建模，确保基于深度神经网络的解算子的输出具有能量一致性，无需显式的偏微分方程。在多个物理系统上的实验证明，ENO 在从数据中预测解方面优于现有的深度神经网络模型，特别是在超分辨率设置中。

Feb, 2024

关于偏微分方程中各个领域和参数的微分同胚神经算子

通过可微分同胚神经运算符学习框架，提出了一种面向具有不同和复杂领域的物理系统的域灵活模型的方法，实现神经运算符在不同领域中的强大学习能力和鲁棒的概化。

Feb, 2024

运算符学习的数学指南

运算符学习是从数据中发现底层动力系统或偏微分方程的特性的过程。本文介绍了一个逐步指南，用于运算符学习，解释了适用于运算符学习的问题类型和偏微分方程，讨论了各种神经网络架构，并解释了如何有效使用数值 PDE 求解器。我们还提供了关于运算符学习中使用的各种神经网络架构的直觉，从数值线性代数的角度解释了它们的动机。

Dec, 2023

高维偏微分方程的解算子的近似

我们提出了一种基于有限维控制的方法来近似解决高维演化型偏微分方程的解算符。通过使用通用的降阶模型，例如深度神经网络，我们将模型参数的演化与相应函数空间中的轨迹连接起来。利用神经常微分方程的计算技术，我们学习参数空间上的控制，从而使受控轨迹与 PDE 的解非常接近。对于一类二阶非线性 PDE，我们验证了近似精确度。对几个高维 PDE，包括解决 Hamilton-Jacobi-Bellman 方程的真实应用，我们展示了所提方法的准确性和效率。

Jan, 2024

动态高斯图算子：在任意离散力学问题中学习参数化的偏微分方程

本文提出了一种名为动态高斯图算子（DGGO）的新型算子学习算法，它将神经操作器扩展到任意离散力学问题中的学习参数偏微分方程（PDEs），通过动态高斯图（DGG）核将在一般欧几里得空间中定义的观测向量映射到高维均匀度量空间中定义的度量向量，致力于解决复杂的计算域上的通用性问题。

Mar, 2024

具有 ReLU、leaky ReLU 和 softplus 激活函数的深度神经网络在半线性偏微分方程空时解中可被证明地克服维数灾难

使用深度学习方法中的深度神经网络（DNN）和修正线性单元（ReLU）、渗漏线性单元（leaky ReLU）或软正单元（softplus）激活函数，可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的半线性热方程的解。

Jun, 2024