本研究提出了一种基于自注意力机制的模型 Operator Transformer（OFormer）用于数据驱动的偏微分方程算子学习，该模型相对于传统方法不依赖于采样模式，并在标准基准测试中表现优异。
May, 2022
本文介绍了一种基于 Transformers 的 Galarkin 变换学习器，能够在解决偏微分方程方面，显著提高训练成本和评估准确性。
May, 2021
本文提出了一种新的观点，即将数据定义为矩阵变量正态分布，并开发了一种直接运用于高维高阶张量数据的 Kronecker 注意力机制，相较于传统注意力机制，本文提出的方法大大降低了计算资源的需求，并在性能上优于未采用注意力机制和采用传统注意力机制的模型。
Jul, 2020
用注意机制来设计神经操作器，在函数空间中进行 Transformers 的研究，证明其作为实践中的 Monte Carlo 或有限差分近似算符，同时介绍了函数空间泛化的 patching 策略和相关神经操作器的类，证明其在注意力函数空间表述和神经操作器中的应用的潜力。
Jun, 2024
通过对机器学习理念在函数巴拿赫空间之间进行映射的（通常是非线性）算子的应用，可以构建近似算子，这些算子通常源于用偏微分方程（PDEs）表达的物理模型。近似算子在许多查询任务中具有巨大的潜力，作为传统数值方法的高效代理模型。由于数据驱动，当无法提供基于 PDE 的数学描述时，它们还可以进行模型发现。本综述主要关注神经算子，其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看，神经算子在各种应用中都显示出了成功，但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识，着重从逼近理论的角度来看。
Feb, 2024
该论文提出了能量一致性神经算子（ENO），这是一种学习偏微分方程的解算子的通用框架，其遵循观测到的解轨迹满足能量守恒或耗散定律。该框架使用受物理能量理论启发的新型惩罚函数进行训练，能够通过另一个深度神经网络对能量泛函进行建模，确保基于深度神经网络的解算子的输出具有能量一致性，无需显式的偏微分方程。在多个物理系统上的实验证明，ENO 在从数据中预测解方面优于现有的深度神经网络模型，特别是在超分辨率设置中。
通过使用正交内存（LAVO），我们提出了线性注意力方法的一种改进，通过正交分解将上下文压缩为固定大小的正交内存，同时最小化上下文中的冗余，并通过嵌入相对位置编码来改善外推能力。实验证明，LAVO 极大地提高了因果语言模型的效率，并在最佳外推性能上优于其他高效方法。
Dec, 2023
通过提取物理不变量和引入注意机制进行运算符学习的方法（PIANO）可在各种物理机制的偏微分方程系列中降低相对误差 13.6％-82.2％，并且其所获得的物理不变量与 PDE 系统中的底层不变量相吻合，从而验证了 PIANO 的物理意义。
Nov, 2023
该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。
Oct, 2020
本研究介绍了神经算子，它是一种学习算子的新型神经网络，能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理，可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法，并在偏微分方程的解算子的代理映射中应用了神经算子，结果表明相较于传统 PDE 求解器和现有的机器学习方法，神经算子具有更好的性能优势且速度更快。
Aug, 2021