可扩展的 Transformer 用于 PDE 替代模型

May, 2023

可扩展的 Transformer 用于 PDE 替代模型

Scalable Transformer for PDE Surrogate Modeling

Zijie Li, Dule Shu, Amir Barati Farimani

TL;DR本文提出了一种基于轴向分解核积分的可学习投影运算符的因式化变压器模型 Factorized Transformer，该模型使用一维域将输入函数分解为多个子函数，用于计算基于实例的内核。我们演示了该模型在 256 x 256 网格上模拟 2D Kolmogorov 流和在 64 x 64 x 64 网格上模拟 3D 烟雾浮力的精度和效率良好。此外，我们发现使用因式化方案时，注意力矩阵的频谱比全 softmax-free 注意力矩阵更紧凑。

Abstract

transformer has shown state-of-the-art performance on various applications and has recently emerged as a promising tool for surrogate modeling of partial differential equations (PDEs). Despite the introduction of

transformer surrogate modeling factorized transformer axial factorized kernel integral attention matrices

发现论文，激发创造

使用 Transformer 进行偏微分方程的多尺度时间步进

使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

Nov, 2023

Transolver：通用几何形状上的 PDE 快速变压器求解器

基于 Transformer 原理，Transolver 通过学习分离离散化几何背后的内在物理状态，并借助物理关注机制捕捉复杂几何结构下的物理关联性，实现了在解 PDEs 时的高效计算和准确建模。

Feb, 2024

诱导点算子变换器：一种用于求解 PDE 的灵活可扩展的体系结构

通过学习解算子，解决偏微分方程已成为传统数值方法的有吸引力的替代方法，我们介绍了一种基于注意力机制的模型 —— 感应点操作器变换器（IPOT），它能处理任意输入函数与输出查询，并以计算高效的方式捕捉全局交互，实验结果表明，与先进方法相比，在广泛的偏微分方程基准和实际天气预测方案中，IPOT 取得了良好的性能和可管理的计算复杂性。

Dec, 2023

选择变换方法：傅里叶或伽辽金

本文介绍了一种基于 Transformers 的 Galarkin 变换学习器，能够在解决偏微分方程方面，显著提高训练成本和评估准确性。

May, 2021

利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

May, 2024

CaFA：基于球面上的因式化注意力的全球天气预报

我们提出了一种适用于球面几何的因子化注意力模型，用于天气预测。该模型在精确度和效率上的表现与纯数据驱动的机器学习天气预测模型相当，具备在准确度与计算成本上优于基于 Transformer 模型的标准注意力模型的潜力。

May, 2024

多网格张量化傅里叶神经算子用于高分辨率偏微分方程

通过引入一种新的高效数据、可高度并行化的操作符学习方法，称为多网格张量化神经算子 (MG-TFNO)，我们解决了部分微分方程 (PDEs) 的学习解算符在高分辨率下存在的内存复杂度和数据稀缺性的限制。

Sep, 2023

DSFormer: 通过密集稀疏权重分解实现文本 Transformer 的有效压缩

DSFormer 是一种新型的低秩矩阵分解和半结构稀疏矩阵乘积方法，针对大型 Transformer 模型的成本效益问题提供了更强的效率 - 准确度平衡，并在自然语言理解任务中实现了比现有方法更高的压缩率和任务准确度。

Dec, 2023

使用结构化体积信息放大概率 PDE 模拟器

应用偏微分方程模型到现实世界问题是科学机器学习的重要课题。本文提出一种结合基于有限体积法的离散化方案和数值线性代数技术的框架，通过实验验证在空间与时间方面的海啸模拟中该方法相比之前的基于插值法的技术有显著的性能提升。

Jun, 2024

随机潜在变换器：随机强迫区域性涡旋的高效建模

引入了 “随机潜在转换器”，这是一种用于随机偏微分方程（SPDE）高效减维建模的概率深度学习方法。通过将具有随机驱动的流体力学建模应用于研究已深入的纬向气流系统，展示了该神经网络相较于数值积分实现了 5 个数量级的加速，从而实现了成本效益较高的大集合生成，进而探索关于自发转变事件概率的统计问题。

Oct, 2023