本文介绍了一种基于 Transformers 的 Galarkin 变换学习器，能够在解决偏微分方程方面，显著提高训练成本和评估准确性。
May, 2021
基于正交注意力机制的神经操作符，通过核积分算子的特征分解和神经逼近特征函数的方法，在对少量训练数据进行正则化处理，成功提高了泛化能力，使得在标准神经操作符基准数据集上超越其他方法。
Oct, 2023
用注意机制来设计神经操作器，在函数空间中进行 Transformers 的研究，证明其作为实践中的 Monte Carlo 或有限差分近似算符，同时介绍了函数空间泛化的 patching 策略和相关神经操作器的类，证明其在注意力函数空间表述和神经操作器中的应用的潜力。
Jun, 2024
该论文提出了一种基于创新的位置注意机制构建的位置诱导变压器 (PiT)，相比经典的自注意力，PiT 在算子学习中表现出显著优势，并且在各种复杂算子学习任务和不同的偏微分方程基准测试中，PiT 在当前最先进的神经算子方法中展现出卓越性能。
May, 2024
本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。
Nov, 2022
本文提出了一种修改 Transformer 层内部结构的方法，将多头注意力子层和 MLP 子层并行布置，并且结合使用神经 ODE 求解器的高级积分方案，提高了 Transformer 网络在多个任务中的性能。
Dec, 2022
通过提出一种基于矩阵多项式的自注意力层作为替代，我们改善了 Transformer 在表格数据中存在的平滑问题，并展示该层能够提高表格数据的表示性能，胜过现有方法。
Dec, 2023
本文通过凸对偶性的视角分析了自我注意力及其替代方案的基础归纳偏差问题，并为非线性点积自我注意力和替代机制提出了有解释性且可全局最优求解的等效有限维凸问题。通过实验证明，与现有的 MLP 或线性 heuads 相比，自我注意网络的偏差对于 CIFAR-100 分类任务具有吸引力。
May, 2022
神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。
本文提出了 DPFormer 模型，引入了幽灵剪辑和再关注机制以提高训练 Transformer 模型时的效率和精度，通过理论分析以及两个真实数据集的实验证明了 DPFormer 的有效性和可行性。
May, 2023