U-FNO – 多相流增强傅里叶神经算子深度学习模型
通过对 Fourier neural operator(FNO)进行全精度和混合精度训练的内存和运行时时间进行分析,研究混合精度训练的数值稳定性,并设计了一种训练程序,有效减少了训练时间和内存使用,而在准确性上几乎没有减少,适用于 Navier-Stokes 和 Darcy 流动方程。
Jul, 2023
利用 Fourier 神经算子 (FNO) 网络以实时三维城市风场模拟,通过半拉格朗日方法和分数步进法模拟大规模城市问题中的城市微气候特征,数值实验显示 FNO 模型能够准确重构瞬时空间速度场,在不同风向的未见数据上也具有良好的泛化能力,更重要的是 FNO 方法能够在毫秒内进行预测,实现了三维动态城市微气候的实时模拟。
Aug, 2023
本研究提供了首次关于科学发现模型对抗鲁棒性的研究,通过在指定模型上生成敌对性的样本数据,我们发现模型的鲁棒性随着扰动水平的增加而迅速下降,这为评估基于机器学习的科学发现模型提供了敏感性分析工具和评估原则。
Apr, 2022
该研究探讨了神经算子在预测紊流方面的应用,重点研究了傅立叶神经算子(FNO)模型。旨在利用机器学习开发用于紊流模拟的降阶 / 替代模型。通过分析不同的模型配置,发现 U-NET 结构(UNO 和 U-FNET)在准确性和稳定性方面优于标准的 FNO。U-FNET 在预测更高雷诺数下的湍流表现出色。梯度和稳定性损失等正则化项对于稳定而准确的预测至关重要。该研究强调了改进流体流动预测深度学习模型评估指标的必要性。进一步研究应该关注处理复杂流动和实际基准评估指标的模型。
Jul, 2023
通过光谱分析明确展示了 Fourier 神经操作符在解决偏微分方程时相比卷积神经网络的显著有效性,并提出了 SpecBoost,一种集成学习框架,通过利用多个 Fourier 神经操作符来更好地捕捉高频信息,明显提高了在各种偏微分方程应用中的预测准确度,最高提升了 71%。
Apr, 2024
使用傅里叶神经算子 (FNOs) 为基础的深度学习框架,可以处理大小不同的图像,并通过静态最大池化将 FNO 层与分类器相连接,解决了变尺寸多维数字多孔介质的图像分类问题。
Feb, 2024
通过改进的傅里叶层和注意机制,我们提出了一种新颖的分层神经算子,旨在捕获所有细节并在不同尺度上处理它们,以解决多尺度偏微分方程问题。在多个物理场景中进行实验,并在现有偏微分方程基准测试中取得卓越性能,尤其是具有快速系数变化特征的方程。
Nov, 2023
本论文提出了基于深度学习的 Fourier 神经算子 (FNO) 的新框架 - geo-FNO, 用于求解偏微分方程,并可在任意几何图形上工作。该方法利用深度学习降噪算法,将不规则的物理空间映射到一个均匀的潜空间中,再应用 FNO 模型来求解偏微分方程。geo-FNO 比传统的数值求解方法快 $10^5$ 倍,比其它机器学习算法(如 FNO)的直接插值更准确。
Jul, 2022
利用 DeepHyper 的高级搜索算法优化深度学习模型的超参数选择,尤其针对海洋模拟进行数据驱动建模,以提高模型精确性。实验结果显示,优化后的超参数集在单时间步预测中改善了模型性能,并在长时间范围内的自回归预测中大幅超过了基线配置。利用 DeepHyper 展示了在海洋动力学预测中提升 FNOs 使用的可扩展解决方案。
Apr, 2024
我们提出了 U-AFNO,这是一种受神经运算器学习近期进展启发的机器学习模型,用于学习当前时间步长到后续时间步长的场的动态映射,通过提取和重构物理场中的局部特征,并通过傅立叶空间(AFNO)中的视觉变换器(ViT)传递潜在空间。我们使用 U-AFNO 模型准确预测液态金属腐蚀过程的场动力学,并展示了与高保真数值求解器相当的准确性,同时我们研究了采用 U-AFNO 与高保真时间步恢复相结合的混合模拟的机会,并且我们的 U-AFNO 模型在完全自回归设置中始终优于混合方案。
Jun, 2024