Jun, 2024

预训练神经操作器的策略

PDF
TL;DR针对偏微分方程（PDE）建模的预训练最近展现出在扩展神经算子跨数据集以提高泛化能力和性能方面的潜力。尽管取得了这些进展，我们对预训练如何影响神经算子的理解仍然有限；研究通常提出了定制的架构和数据集，使得比较和检查不同预训练框架变得困难。为了解决这个问题，我们比较了各种预训练方法，没有优化架构选择，以表征不同模型和数据集上的预训练动态，并理解其扩展性和泛化行为。我们发现，预训练高度依赖于模型和数据集选择，但一般而言，迁移学习或基于物理学的预训练策略效果最佳。此外，使用数据增强可以进一步提高预训练性能。最后，当在稀缺数据环境下进行微调或推广到与预训练分布相似的下游数据时，预训练还具有额外的好处。通过提供有关预训练神经算子用于物理预测的见解，我们希望鼓励未来在 PDEs 的预训练方法开发和评估方面的工作。
pretrainingneural operatorsscalinggeneralizationdata augmentations
发现论文，激发创造
  • 通过无监督预训练和上下文学习实现高效的运算符学习

    通过机器学习方法和物理领域专业见解相结合，解决基于偏微分方程的科学问题在近年来取得了很大的进展。然而，这些方法仍然需要大量的偏微分方程数据。为了提高数据效率，我们设计了无监督的预训练和上下文学习方法用于偏微分方程算子学习，通过重构为代理任务的无标签偏微分方程数据对神经算子进行预训练。为了提高超出分布的性能，我们进一步辅助神经算子以灵活地利用上下文学习方法，而无需额外的训练成本或设计。对多种偏微分方程进行的大量实证评估表明我们的方法具有高度的数据效率、更好的泛化性能，甚至胜过传统的预训练模型。

    Feb, 2024

  • 一种运算符预条件视角下的物理信息机器学习训练

    本文研究了梯度下降算法在物理信息机器学习方法（如 PINNs）中的行为，这些方法最小化与偏微分方程（PDEs）相关的残差。我们的关键结果是，训练这些模型的难度与特定微分算子的条件数密切相关。这一算子与底层 PDE 的微分算子的共轭平方有关。如果这一算子的条件数糟糕，会导致训练缓慢或不可行。因此，对这一算子进行预处理非常重要。我们通过严格的数学分析和经验评估来研究各种策略，解释它们如何更好地处理这一关键算子的条件，进而改善训练。

    Oct, 2023

  • 基于物理信息的无网格深度组合算子网络

    参数化偏微分方程、神经算子、物理信息训练、不规则域形状和可变网格尺寸的研究

    Apr, 2024

  • PICL：基于物理信息的对比学习用于偏微分方程

    利用对比预训练框架和广义对比损失实现神经算子在多个方程上的泛化，提高了傅里叶神经算子在固定未来任务中的准确性和泛化能力，同时在一维热、Burgers' 和线性对流方程的自回归展开和超分辨率任务中表现出相当的性能。

    Jan, 2024

  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023

  • 作为概率神经算子的扩散模型用于恢复动力系统的未观测状态

    本研究探讨了以扩散为基础的生成模型作为偏微分方程 (PDE) 神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性，并能够在多个真实动力系统中优于其他神经算子。此外，我们演示了概率扩散模型如何优雅地处理部分可识别的系统，通过生成对应于不同可能解的样本。

    May, 2024

  • 解决偏微分方程的快速分辨率无关的神经技术

    本文综述了传统的 PDE 数值逼近方法以及近期的基于机器学习的方法，重点介绍了以神经算子为中心的关键构架，这是一种学习 PDE 解算子的新方法，与传统方法相比具有 1000 倍的计算速度优势，这些新的计算方法可以在解决许多基础和应用物理问题方面带来巨大优势。

    Jan, 2023

  • DPOT: 自回归去噪算子变压器用于大规模偏微分方程预训练

    我们提出了一种新的自回归去噪预训练策略，通过 Fourier 关注机制实现了预训练在偏微分方程数据上的更稳定和高效，具有强大的泛化能力，显著提升了下游 PDE 任务的性能。

    Mar, 2024

  • 元学习物理信息神经网络以高效求解新的偏微分方程

    我们提出了一种基于神经网络的元学习方法，用于高效解决偏微分方程（PDE）问题。该方法通过元学习来解决各种各样的 PDE 问题，并将这些知识用于解决新的 PDE 问题。我们使用神经网络将 PDE 问题编码成问题表示，其中，控制方程由偏导数的多项式函数的系数表示，边界条件由一组点条件对表示。我们将问题表示作为神经网络的输入来预测解决方案，通过神经网络的前向过程，我们能够高效地预测特定问题的解决方案，而无需更新模型参数。为了训练我们的模型，我们最小化在基于物理知识的神经网络框架中适应 PDE 问题时的预期误差，通过这种方式，即使解决方案未知，我们也能评估误差。我们证明了我们提出的方法在预测 PDE 问题的解决方案方面优于现有方法。

    Oct, 2023

  • 采用图神经算子的多尺度物理表示来近似偏微分方程解

    本论文研究了三种基于神经积分算子的多分辨率模式，并使用消息传递图神经网络进行了验证，以解决描述物理现象中的偏微分方程最具挑战性问题之一 —— 在不同尺度下表示物理信号。

    Jun, 2022