Feb, 2024

Transolver：通用几何形状上的 PDE 快速变压器求解器

PDF
TL;DR基于 Transformer 原理，Transolver 通过学习分离离散化几何背后的内在物理状态，并借助物理关注机制捕捉复杂几何结构下的物理关联性，实现了在解 PDEs 时的高效计算和准确建模。
transformerspartial differential equationstransolverphysics-attentiongeometry-general modeling
发现论文，激发创造
  • Unisolver: 基于偏微分方程的 Transformer 是通用的偏微分方程求解器

    通过使用多样化的数据预训练的 Transformer 和多样的 PDE 条件，我们提出了一种能够解决广泛范围的 PDE 的通用 PDE 求解器 (Unisolver)，在三个具有挑战性的大规模基准测试中获得了一致的最新成果，并具有令人印象深刻的增益以及有利的通用性和可扩展性。

    May, 2024

  • 可扩展的 Transformer 用于 PDE 替代模型

    本文提出了一种基于轴向分解核积分的可学习投影运算符的因式化变压器模型 Factorized Transformer，该模型使用一维域将输入函数分解为多个子函数，用于计算基于实例的内核。我们演示了该模型在 256 x 256 网格上模拟 2D Kolmogorov 流和在 64 x 64 x 64 网格上模拟 3D 烟雾浮力的精度和效率良好。此外，我们发现使用因式化方案时，注意力矩阵的频谱比全 softmax-free 注意力矩阵更紧凑。

    May, 2023

  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023

  • 诱导点算子变换器：一种用于求解 PDE 的灵活可扩展的体系结构

    通过学习解算子，解决偏微分方程已成为传统数值方法的有吸引力的替代方法，我们介绍了一种基于注意力机制的模型 —— 感应点操作器变换器（IPOT），它能处理任意输入函数与输出查询，并以计算高效的方式捕捉全局交互，实验结果表明，与先进方法相比，在广泛的偏微分方程基准和实际天气预测方案中，IPOT 取得了良好的性能和可管理的计算复杂性。

    Dec, 2023

  • 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

    神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

    May, 2024

  • 物理信息标记变换器

    论文探讨了通过引入物理学知识嵌入偏微分方程 (PDE) 学习过程中，并使用方程分词方法学习一个分析驱动数值更新运算符的物理学知道 Transformer 模型，来解决传统方法慢和传统机器模型无法使用完整系统信息的问题。研究结果表明，PITT 方法能够在 1D 和 2D 任务中优于传统的傅里叶神经运算符，并可以从控制方程中提取物理上相关的信息。

    May, 2023

  • 学习神经偏微分方程求解器并带收敛性保证

    本文提出了一种基于深度学习的域特定快速迭代求解器的方法，并经过训练在多种几何结构和边界条件下实现了 2-3 倍的速度提升。

    Jun, 2019

  • DiTTO: 扩散启发的时态变换器操作符

    我们提出了一种名为 DiTTO 的算子学习方法来连续地解决时间相关的偏微分方程，该方法通过将受扩散模型启发的框架与 Transformer 架构相结合，实现了在多个维度上的各种 PDEs 的准确解决，并通过使用扩散模型中的快速采样概念进一步提高了性能，并展示了 DiTTO 可以在时间上精确执行零短片超分辨率。

    Jul, 2023

  • 几何代数变换器

    本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr)，它能够高效地表示常见几何物体及其运算符，并能够保持几何物体的对称性，经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。

    May, 2023

  • 通用物理变换器

    基于深度神经网络的偏微分方程替代模型近年来越来越受关注。我们引入了通用物理变换器 (UPTs)，这是一种新的学习范式，可以模拟广泛的时空问题，包括拉格朗日离散和欧拉离散方案，而无需网格或基于粒子的潜在结构。UPTs 通过逆编码和解码技术在潜在空间中高效传播动力学，并允许在空间时间的任何点上查询潜在空间表示。我们在基于网格的流体模拟、稳态雷诺平均纳维 - 斯托克斯模拟和拉格朗日动力学中展示了 UPTs 的有效性。

    Feb, 2024