运算符学习的数学指南
通过对机器学习理念在函数巴拿赫空间之间进行映射的(通常是非线性)算子的应用,可以构建近似算子,这些算子通常源于用偏微分方程(PDEs)表达的物理模型。近似算子在许多查询任务中具有巨大的潜力,作为传统数值方法的高效代理模型。由于数据驱动,当无法提供基于 PDE 的数学描述时,它们还可以进行模型发现。本综述主要关注神经算子,其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看,神经算子在各种应用中都显示出了成功,但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识,着重从逼近理论的角度来看。
Feb, 2024
本文提出了一种新颖的框架,引入了 PDE 解算子的代理模型,并结合特殊正则化技术解决 PDE 约束下的最优控制问题,该框架可以应用于数据驱动和无数据情况下的最优控制问题,并成功地将其应用于不同的最优控制问题。
Nov, 2021
基于变分方法,提出一种新的培训神经网络算子和解决偏微分方程的统一框架,称为变分算子学习(VOL),VOL 可以以近乎无标签的方式有效地学习 PDE 的解算子,并利用最陡下降法和共轭梯度法进行更新。
Apr, 2023
通过将任意近似编码器和解码器与标准前馈深度神经网络 (DNN) 体系结构相结合,我们提出了学习巴拿赫空间之间的算子的问题。我们首先确定了一组 DNN 的族群,使得由这些深度学习 (DL) 过程所获得的产生出算子可以达到最佳的泛化性能。接下来,我们证明了 DL 对于这个问题是最优的,没有任何恢复过程可以超越这些泛化界限。最后,我们展示了在具有挑战性的问题上的实际性能,包括参数扩散、Navier-Stokes-Brinkman 和 Boussinesq 偏微分方程组。
Jun, 2024
该论文提出了一种新的神经算子,通过直接在傅里叶空间中参数化积分核,实现了对偏微分方程的求解,并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。
Oct, 2020
通过机器学习方法和物理领域专业见解相结合,解决基于偏微分方程的科学问题在近年来取得了很大的进展。然而,这些方法仍然需要大量的偏微分方程数据。为了提高数据效率,我们设计了无监督的预训练和上下文学习方法用于偏微分方程算子学习,通过重构为代理任务的无标签偏微分方程数据对神经算子进行预训练。为了提高超出分布的性能,我们进一步辅助神经算子以灵活地利用上下文学习方法,而无需额外的训练成本或设计。对多种偏微分方程进行的大量实证评估表明我们的方法具有高度的数据效率、更好的泛化性能,甚至胜过传统的预训练模型。
Feb, 2024
本研究介绍了神经算子,它是一种学习算子的新型神经网络,能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理,可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法,并在偏微分方程的解算子的代理映射中应用了神经算子,结果表明相较于传统 PDE 求解器和现有的机器学习方法,神经算子具有更好的性能优势且速度更快。
Aug, 2021
本文旨在通过神经网络学习无限维空间(算子)和不同有限维空间之间的映射,并使用图网络进行内核积分计算。该方法在偏微分方程及其解的输入数据映射中具有实际应用价值,并在不同分辨率和离散化的近似方法之间实现了泛化。实验证明,所提出的图内核网络具有期望的性能,并与现有技术解算器相比表现出优异的性能。
Mar, 2020
该论文提出了能量一致性神经算子(ENO),这是一种学习偏微分方程的解算子的通用框架,其遵循观测到的解轨迹满足能量守恒或耗散定律。该框架使用受物理能量理论启发的新型惩罚函数进行训练,能够通过另一个深度神经网络对能量泛函进行建模,确保基于深度神经网络的解算子的输出具有能量一致性,无需显式的偏微分方程。在多个物理系统上的实验证明,ENO 在从数据中预测解方面优于现有的深度神经网络模型,特别是在超分辨率设置中。
Feb, 2024
本文介绍了一种结合了物理与机器学习的新兴领域:PDE 学习。我们提出了一种理论上保证数据效率的算法,可以从有限的输入输出数据中恢复 3D 椭圆型偏微分方程的解算子,并以极高的成功概率呈指数收敛率。
Feb, 2023