May, 2023

物理信息标记变换器

PDF
TL;DR论文探讨了通过引入物理学知识嵌入偏微分方程 (PDE) 学习过程中，并使用方程分词方法学习一个分析驱动数值更新运算符的物理学知道 Transformer 模型，来解决传统方法慢和传统机器模型无法使用完整系统信息的问题。研究结果表明，PITT 方法能够在 1D 和 2D 任务中优于传统的傅里叶神经运算符，并可以从控制方程中提取物理上相关的信息。
发现论文，激发创造
  • 位置知识是一切所需：面向操作员学习的位置感知变压器 (PiT)

    该论文提出了一种基于创新的位置注意机制构建的位置诱导变压器 (PiT)，相比经典的自注意力，PiT 在算子学习中表现出显著优势，并且在各种复杂算子学习任务和不同的偏微分方程基准测试中，PiT 在当前最先进的神经算子方法中展现出卓越性能。

    May, 2024

  • DiTTO: 扩散启发的时态变换器操作符

    我们提出了一种名为 DiTTO 的算子学习方法来连续地解决时间相关的偏微分方程，该方法通过将受扩散模型启发的框架与 Transformer 架构相结合，实现了在多个维度上的各种 PDEs 的准确解决，并通过使用扩散模型中的快速采样概念进一步提高了性能，并展示了 DiTTO 可以在时间上精确执行零短片超分辨率。

    Jul, 2023

  • 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

    神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

    May, 2024

  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023

  • 噪声感知的物理信息机器学习用于鲁棒的 PDE 发现

    本研究提出了一种基于噪声感知的物理信息机器学习框架以及基于离散傅里叶变换的去噪物理信息神经网络，用于通过数据发现物理系统的偏微分方程， 并在五个标准偏微分方程上进行实验证明了该方法的鲁棒性和可解释性。

    Jun, 2022

  • 基于物理知识的神经网络框架用于障碍相关方程建模

    本文探索使用 PINNs 求解障碍相关的偏微分方程，通过多种场景对线性和非线性、规则和不规则障碍下的 PDE 进行求解，表现良好。

    Apr, 2023

  • 基于物理信息的 RNN-DCT 网络用于时间依赖偏微分方程

    本文提出了一种新颖的基于物理信息的神经网络框架，用于解决时间依赖偏微分方程，利用离散余弦变换对空间频率进行编码，再利用循环神经网络处理时间演化，从而实现对问题的时空动态的潜在表达，提高了物理相关模型的效率和灵活性，并在 Navier-Stokes 方程的 Taylor-Green 涡旋解上实现了最先进的性能。

    Feb, 2022

  • 基于量子启发式张量神经网络求解偏微分方程

    本文介绍了如何通过 Tensor Neural Networks 来解决 Partial Differential Equations 的问题，实现了与 Deep Neural Network 同样精度的情况下更小的参数及更快的训练速度，并以 Black-Scholes-Barenblatt equation 模型为例进行了测试验证。

    Aug, 2022

  • 基于物理信息的分布式神经网络求解偏微分方程的数据高效方法

    通过测试传统 PINN 方法的表达能力，本论文提出了一种分布式 PINN（DPINN），并与原方法进行了对比，试图直接使用物理信息神经网络来解决非线性偏微分方程及二维稳态 Navier-Stokes 方程。

    Jul, 2019

  • 传统线性求解器能否被基于物理启发的深度学习所替代？

    本篇论文探讨了 PINN 作为线性求解器的潜力，在 Poisson 方程中评估了不同参数下的表现和精度，并且阐述了传递学习的关键作用。同时，论文也提出了将 PINN 与传统线性求解器相结合的方法，以解决高频解的问题，并表明该混合策略在发展具有潜力的新型线性求解器方面具有前景。

    Mar, 2021