Jul, 2023

混合精度加速 Fourier 神经算子

PDF
TL;DR通过对 Fourier neural operator（FNO）进行全精度和混合精度训练的内存和运行时时间进行分析，研究混合精度训练的数值稳定性，并设计了一种训练程序，有效减少了训练时间和内存使用，而在准确性上几乎没有减少，适用于 Navier-Stokes 和 Darcy 流动方程。
fourier neural operatorpartial differential equationsurrogate mapsmixed-precision trainingmemory usage
发现论文，激发创造
  • 本地卷积增强的全局傅里叶神经算子用于多尺度动态空间预测

    通过改进的傅里叶层和注意机制，我们提出了一种新颖的分层神经算子，旨在捕获所有细节并在不同尺度上处理它们，以解决多尺度偏微分方程问题。在多个物理场景中进行实验，并在现有偏微分方程基准测试中取得卓越性能，尤其是具有快速系数变化特征的方程。

    Nov, 2023

  • 从谱的角度对傅里叶神经算子进行分析和改进的研究

    通过光谱分析明确展示了 Fourier 神经操作符在解决偏微分方程时相比卷积神经网络的显著有效性，并提出了 SpecBoost，一种集成学习框架，通过利用多个 Fourier 神经操作符来更好地捕捉高频信息，明显提高了在各种偏微分方程应用中的预测准确度，最高提升了 71%。

    Apr, 2024

  • 学习形变的傅里叶神经算子解决一般几何上的 PDEs

    本论文提出了基于深度学习的 Fourier 神经算子 (FNO) 的新框架 - geo-FNO, 用于求解偏微分方程，并可在任意几何图形上工作。该方法利用深度学习降噪算法，将不规则的物理空间映射到一个均匀的潜空间中，再应用 FNO 模型来求解偏微分方程。geo-FNO 比传统的数值求解方法快 $10^5$ 倍，比其它机器学习算法（如 FNO）的直接插值更准确。

    Jul, 2022

  • 多网格张量化傅里叶神经算子用于高分辨率偏微分方程

    通过引入一种新的高效数据、可高度并行化的操作符学习方法，称为多网格张量化神经算子 (MG-TFNO)，我们解决了部分微分方程 (PDEs) 的学习解算符在高分辨率下存在的内存复杂度和数据稀缺性的限制。

    Sep, 2023

  • 关于傅里叶神经算子通用逼近和误差界限

    该研究证明了 Fourier 神经算子 (FNOs) 具有普适性，可近似于任何持续算子，且能够高效逼近在多种偏微分方程中涉及的算子。

    Jul, 2021

  • Vandermonde 神经算子

    该论文提出了一种基于 Vandermonde 结构矩阵的神经运算符 VNO，用于处理非等间距数据，比 FNO 方法更快且精度更高，并且优于非等间距方法 Geo-FNO。

    May, 2023

  • 评估 Fourier 神经算子的对抗鲁棒性

    本研究提供了首次关于科学发现模型对抗鲁棒性的研究，通过在指定模型上生成敌对性的样本数据，我们发现模型的鲁棒性随着扰动水平的增加而迅速下降，这为评估基于机器学习的科学发现模型提供了敏感性分析工具和评估原则。

    Apr, 2022

  • 傅里叶神经算子的离散化错误

    该研究使用算子学习方法设计了 Fourier 神经算子 (FNO) 来逼近函数空间之间的映射，通过将物理空间中的逐点线性和非线性操作与傅里叶空间中的逐点线性操作相结合，并在离散化的网格上进行计算，该研究定量描述了离散化造成的别名误差，并得到了网格分辨率的代数收敛率及其与输入的规则性之间的关系，同时通过数值实验证实了理论结果并描述了模型的稳定性。

    May, 2024

  • U-FNO – 多相流增强傅里叶神经算子深度学习模型

    U-FNO 是一种基于傅里叶神经算子的新颖神经网络结构，可用于解决在多孔介质中的多相流问题，相较于传统卷积神经网络模型和 ML 模型，U-FNO 模型在 CO2 注入问题中具有更高的准确性和数据利用率，只需三分之一的训练数据即可实现与该项目等效的准确性。

    Sep, 2021

  • 基于 FAIR 数据的两种神经算子的综合公平比较（包括实用扩展）

    本文研究了两种神经算子的性能，提出了它们的实际扩展，使它们更加准确、鲁棒，并适用于工业复杂应用，针对多个基准测试问题，将其与已有神经算子进行比较，证明了其在实际问题中的有效性，并对两种算子进行了理论上的对比。

    Nov, 2021