通过对 Fourier neural operator(FNO)进行全精度和混合精度训练的内存和运行时时间进行分析,研究混合精度训练的数值稳定性,并设计了一种训练程序,有效减少了训练时间和内存使用,而在准确性上几乎没有减少,适用于 Navier-Stokes 和 Darcy 流动方程。
Jul, 2023
通过光谱分析明确展示了 Fourier 神经操作符在解决偏微分方程时相比卷积神经网络的显著有效性,并提出了 SpecBoost,一种集成学习框架,通过利用多个 Fourier 神经操作符来更好地捕捉高频信息,明显提高了在各种偏微分方程应用中的预测准确度,最高提升了 71%。
Apr, 2024
该研究探讨了神经算子在预测紊流方面的应用,重点研究了傅立叶神经算子(FNO)模型。旨在利用机器学习开发用于紊流模拟的降阶 / 替代模型。通过分析不同的模型配置,发现 U-NET 结构(UNO 和 U-FNET)在准确性和稳定性方面优于标准的 FNO。U-FNET 在预测更高雷诺数下的湍流表现出色。梯度和稳定性损失等正则化项对于稳定而准确的预测至关重要。该研究强调了改进流体流动预测深度学习模型评估指标的必要性。进一步研究应该关注处理复杂流动和实际基准评估指标的模型。
本论文提出了基于深度学习的 Fourier 神经算子 (FNO) 的新框架 - geo-FNO, 用于求解偏微分方程,并可在任意几何图形上工作。该方法利用深度学习降噪算法,将不规则的物理空间映射到一个均匀的潜空间中,再应用 FNO 模型来求解偏微分方程。geo-FNO 比传统的数值求解方法快 $10^5$ 倍,比其它机器学习算法(如 FNO)的直接插值更准确。
Jul, 2022
U-FNO 是一种基于傅里叶神经算子的新颖神经网络结构,可用于解决在多孔介质中的多相流问题,相较于传统卷积神经网络模型和 ML 模型,U-FNO 模型在 CO2 注入问题中具有更高的准确性和数据利用率,只需三分之一的训练数据即可实现与该项目等效的准确性。
Sep, 2021
本文研究了两种神经算子的性能,提出了它们的实际扩展,使它们更加准确、鲁棒,并适用于工业复杂应用,针对多个基准测试问题,将其与已有神经算子进行比较,证明了其在实际问题中的有效性,并对两种算子进行了理论上的对比。
Nov, 2021
通过改进的傅里叶层和注意机制,我们提出了一种新颖的分层神经算子,旨在捕获所有细节并在不同尺度上处理它们,以解决多尺度偏微分方程问题。在多个物理场景中进行实验,并在现有偏微分方程基准测试中取得卓越性能,尤其是具有快速系数变化特征的方程。
Nov, 2023
该研究证明了 Fourier 神经算子 (FNOs) 具有普适性,可近似于任何持续算子,且能够高效逼近在多种偏微分方程中涉及的算子。
Jul, 2021
利用 DeepHyper 的高级搜索算法优化深度学习模型的超参数选择,尤其针对海洋模拟进行数据驱动建模,以提高模型精确性。实验结果显示,优化后的超参数集在单时间步预测中改善了模型性能,并在长时间范围内的自回归预测中大幅超过了基线配置。利用 DeepHyper 展示了在海洋动力学预测中提升 FNOs 使用的可扩展解决方案。
提出了一种针对具有无规则几何形状和演变域的物理系统建模问题,称作 DAFNO 的新型神经算子体系结构,它在积分层架构中引入了平滑的特征函数,并利用 FFT 来将几何信息显式编码。在材料建模和气动力学仿真等基准数据集上,DAFNO 实现了与基线神经算子模型相比的最先进的准确性。
Apr, 2023