AAAIDec, 2023

诱导点算子变换器：一种用于求解 PDE 的灵活可扩展的体系结构

PDF
TL;DR通过学习解算子，解决偏微分方程已成为传统数值方法的有吸引力的替代方法，我们介绍了一种基于注意力机制的模型 —— 感应点操作器变换器（IPOT），它能处理任意输入函数与输出查询，并以计算高效的方式捕捉全局交互，实验结果表明，与先进方法相比，在广泛的偏微分方程基准和实际天气预测方案中，IPOT 取得了良好的性能和可管理的计算复杂性。
partial differential equationslearningsolution operatorsinducing-point operator transformerattention-based model
发现论文，激发创造
  • 位置知识是一切所需：面向操作员学习的位置感知变压器 (PiT)

    该论文提出了一种基于创新的位置注意机制构建的位置诱导变压器 (PiT)，相比经典的自注意力，PiT 在算子学习中表现出显著优势，并且在各种复杂算子学习任务和不同的偏微分方程基准测试中，PiT 在当前最先进的神经算子方法中展现出卓越性能。

    May, 2024

  • DPOT: 自回归去噪算子变压器用于大规模偏微分方程预训练

    我们提出了一种新的自回归去噪预训练策略，通过 Fourier 关注机制实现了预训练在偏微分方程数据上的更稳定和高效，具有强大的泛化能力，显著提升了下游 PDE 任务的性能。

    Mar, 2024

  • DiTTO: 扩散启发的时态变换器操作符

    我们提出了一种名为 DiTTO 的算子学习方法来连续地解决时间相关的偏微分方程，该方法通过将受扩散模型启发的框架与 Transformer 架构相结合，实现了在多个维度上的各种 PDEs 的准确解决，并通过使用扩散模型中的快速采样概念进一步提高了性能，并展示了 DiTTO 可以在时间上精确执行零短片超分辨率。

    Jul, 2023

  • 可扩展的 Transformer 用于 PDE 替代模型

    本文提出了一种基于轴向分解核积分的可学习投影运算符的因式化变压器模型 Factorized Transformer，该模型使用一维域将输入函数分解为多个子函数，用于计算基于实例的内核。我们演示了该模型在 256 x 256 网格上模拟 2D Kolmogorov 流和在 64 x 64 x 64 网格上模拟 3D 烟雾浮力的精度和效率良好。此外，我们发现使用因式化方案时，注意力矩阵的频谱比全 softmax-free 注意力矩阵更紧凑。

    May, 2023

  • 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

    神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

    May, 2024

  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023

  • HT-Net：用于多尺度 PDE 的层次 Transformer 操作学习模型

    本文介绍了一种层次转换器方案，用于高效地学习多尺度 PDE 的解算子，通过自注意力和 H^1 损失函数，实现了对多尺度解空间的编码和解码，并在数值实验中展示了与最先进方法相比的优越性。

    Oct, 2022

  • Transolver：通用几何形状上的 PDE 快速变压器求解器

    基于 Transformer 原理，Transolver 通过学习分离离散化几何背后的内在物理状态，并借助物理关注机制捕捉复杂几何结构下的物理关联性，实现了在解 PDEs 时的高效计算和准确建模。

    Feb, 2024

  • 物理信息标记变换器

    论文探讨了通过引入物理学知识嵌入偏微分方程 (PDE) 学习过程中，并使用方程分词方法学习一个分析驱动数值更新运算符的物理学知道 Transformer 模型，来解决传统方法慢和传统机器模型无法使用完整系统信息的问题。研究结果表明，PITT 方法能够在 1D 和 2D 任务中优于传统的傅里叶神经运算符，并可以从控制方程中提取物理上相关的信息。

    May, 2023

  • 偏微分方程算子学习的 Transformer

    本研究提出了一种基于自注意力机制的模型 Operator Transformer（OFormer）用于数据驱动的偏微分方程算子学习，该模型相对于传统方法不依赖于采样模式，并在标准基准测试中表现优异。

    May, 2022