加速科学模拟与设计的神经运算器
通过对机器学习理念在函数巴拿赫空间之间进行映射的(通常是非线性)算子的应用,可以构建近似算子,这些算子通常源于用偏微分方程(PDEs)表达的物理模型。近似算子在许多查询任务中具有巨大的潜力,作为传统数值方法的高效代理模型。由于数据驱动,当无法提供基于 PDE 的数学描述时,它们还可以进行模型发现。本综述主要关注神经算子,其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看,神经算子在各种应用中都显示出了成功,但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识,着重从逼近理论的角度来看。
Feb, 2024
本研究介绍了神经算子,它是一种学习算子的新型神经网络,能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理,可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法,并在偏微分方程的解算子的代理映射中应用了神经算子,结果表明相较于传统 PDE 求解器和现有的机器学习方法,神经算子具有更好的性能优势且速度更快。
Aug, 2021
利用神经算子的混合模型有效缩短了气候、化学或天体物理领域的数值模拟所需的计算成本、提升了模型预测精度、并提供了更灵活的可靠的参数化方法。
Jul, 2022
最近,机器学习的最新发展提出了一种被称为神经算子的神经网络架构,能够近似函数空间之间的映射关系。我们以应用于基础物理学为目标,研究了它们在量子力学的散射过程中的应用。我们使用傅里叶神经算子的迭代变体来学习 Schrödinger 算子的物理性质,它将初始波函数和势能映射到最终波函数。这些深度算子学习的想法在两个具体问题中进行了测试:一个是在 $1+1$ 维度中预测波包散射在中心势场中的时间演化的神经算子,另一个是在 $2+1$ 维度中的双缝实验。在推断过程中,与传统的有限差分求解器相比,神经算子可以提高数个数量级的计算效率。
Aug, 2023
通过可微分同胚神经运算符学习框架,提出了一种面向具有不同和复杂领域的物理系统的域灵活模型的方法,实现神经运算符在不同领域中的强大学习能力和鲁棒的概化。
Feb, 2024
该论文提出了一种新的神经算子,通过直接在傅里叶空间中参数化积分核,实现了对偏微分方程的求解,并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。
Oct, 2020
通过将神经网络定位为具有固定点表示所需解的算子,我们以数值分析为基础,建立了一个以迭代方法为基础的理论框架,以理论证明为基础,我们演示了流行的架构,如扩散模型和 AlphaFold,本质上使用了迭代算子学习,经验评估表明通过网络算子进行迭代可以提高性能。我们还介绍了一个迭代图神经网络 PIGN,进一步展示了迭代的好处。我们的工作旨在通过融合数值分析的洞察力,从而提升深度学习的理解,潜在地指导设计具有更清晰理论基础和改进性能的未来网络。
Oct, 2023
本文综述了传统的 PDE 数值逼近方法以及近期的基于机器学习的方法,重点介绍了以神经算子为中心的关键构架,这是一种学习 PDE 解算子的新方法,与传统方法相比具有 1000 倍的计算速度优势,这些新的计算方法可以在解决许多基础和应用物理问题方面带来巨大优势。
Jan, 2023