操作员学习：算法与分析

Feb, 2024

Operator Learning: Algorithms and Analysis

Nikola B. Kovachki, Samuel Lanthaler, Andrew M. Stuart

TL;DR通过对机器学习理念在函数巴拿赫空间之间进行映射的（通常是非线性）算子的应用，可以构建近似算子，这些算子通常源于用偏微分方程（PDEs）表达的物理模型。近似算子在许多查询任务中具有巨大的潜力，作为传统数值方法的高效代理模型。由于数据驱动，当无法提供基于 PDE 的数学描述时，它们还可以进行模型发现。本综述主要关注神经算子，其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看，神经算子在各种应用中都显示出了成功，但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识，着重从逼近理论的角度来看。

Abstract

operator learning refers to the application of ideas from machine learning to approximate (typically nonlinear) operators mapping between Banach spaces of functions. Such operators often arise from physical model

operator learning machine learning neural operators partial differential equations approximation theoretic point of view

发现论文，激发创造

运算符学习的数学指南

运算符学习是从数据中发现底层动力系统或偏微分方程的特性的过程。本文介绍了一个逐步指南，用于运算符学习，解释了适用于运算符学习的问题类型和偏微分方程，讨论了各种神经网络架构，并解释了如何有效使用数值 PDE 求解器。我们还提供了关于运算符学习中使用的各种神经网络架构的直觉，从数值线性代数的角度解释了它们的动机。

Dec, 2023

神经算子：学习函数空间之间映射

本研究介绍了神经算子，它是一种学习算子的新型神经网络，能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理，可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法，并在偏微分方程的解算子的代理映射中应用了神经算子，结果表明相较于传统 PDE 求解器和现有的机器学习方法，神经算子具有更好的性能优势且速度更快。

Aug, 2021

加速科学模拟与设计的神经运算器

基于神经操作符的人工智能框架为连续域函数之间的映射学习提供了一个原则性框架，通过零样本超分辨率等功能，可以为科学发现和工程设计的模拟和设计提供快速的数据驱动代替，进而带来快速的研究与开发。

Sep, 2023

巴拿赫空间之间全纯算子的最优深度学习

通过将任意近似编码器和解码器与标准前馈深度神经网络 (DNN) 体系结构相结合，我们提出了学习巴拿赫空间之间的算子的问题。我们首先确定了一组 DNN 的族群，使得由这些深度学习 (DL) 过程所获得的产生出算子可以达到最佳的泛化性能。接下来，我们证明了 DL 对于这个问题是最优的，没有任何恢复过程可以超越这些泛化界限。最后，我们展示了在具有挑战性的问题上的实际性能，包括参数扩散、Navier-Stokes-Brinkman 和 Boussinesq 偏微分方程组。

Jun, 2024

在潜在空间中学习提高深度神经算子的预测准确性

使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

Apr, 2023

在线机器学习技术预测操作员绩效

本文探讨了多个在线机器学习算法，从理论角度评估了它们在特定函数逼近问题上的适用性，进一步通过高效的实现利用各种计算和数学技巧将理论上适合的学习算法应用于手头的函数逼近问题，并通过严格测试评估实现的学习算法。

May, 2016

神经网络算子学习中的代价 - 准确度权衡

本文讨论了使用神经网络进行偏微分方程算法中的代理建模，并比较了多种神经网络框架对于连续力学中的 PDE 模型的算子逼近问题的数值研究结果。

Mar, 2022

运算学习遇见数值分析：通过迭代方法改进神经网络

通过将神经网络定位为具有固定点表示所需解的算子，我们以数值分析为基础，建立了一个以迭代方法为基础的理论框架，以理论证明为基础，我们演示了流行的架构，如扩散模型和 AlphaFold，本质上使用了迭代算子学习，经验评估表明通过网络算子进行迭代可以提高性能。我们还介绍了一个迭代图神经网络 PIGN，进一步展示了迭代的好处。我们的工作旨在通过融合数值分析的洞察力，从而提升深度学习的理解，潜在地指导设计具有更清晰理论基础和改进性能的未来网络。

Oct, 2023

神经算子是否真正是神经算子？框架理论遇上算子学习

本文提出了一种新的数学框架，即基于连续离散等价性的表征等效神经算子，通过引入连续信号的具体和稳定的离散表征来确保学习算子的操作在连续和离散层面的等效性，从而解决了现有模型在计算机实现时无法真正表现算子学习的问题。

May, 2023

利普希茨算子的运算学习：信息论视角

基于神经算子的算子学习已成为一种有前景的通过数据驱动的方法，在无限维巴拿赫空间中进行算子近似。本研究针对利普希茨连续算子的神经算子近似的参数复杂性进行了探索，从信息论的角度建立了利普希茨算子的度量熵的下界，并指出神经算子架构的大小在达到近似精度 ε 时必须是指数级的。这项研究的结果阐明了基本的权衡和限制。

Jun, 2024