学习半线性神经算子: 一种统一递归框架用于预测和数据同化
本文提出了一种用于无配对输入输出观测的深度神经网络参数化的无穷维算子的学习框架,以实现对于参数ODE/PDE系统的精确长时间模拟,该方法虽然比传统数值解算法计算成本低,但可靠性更高且能够全局评估。
Jun, 2021
该研究分析了神经操作符模型中自回归误差增长的来源,并探索了减轻其影响的方法,其原理在于引入架构和应用特定的改进,以在不增加计算和内存负担的情况下对这些模型中导致不稳定性的操作进行仔细控制,实验表明采用研究团队的设计原则来构建典型的神经网络模型可以显著降低长期预测的错误率,同时能够在预测时增加8倍的时间跨度而不出现发散的迹象。
Jun, 2023
使用大规模数据集、计算能力和神经网络架构,基于Koopman算子理论的神经网络架构在动力学系统的潜在空间中对数据进行线性描述,从而实现了长期连续重现,包括在时间序列不规则采样情况下。并展示了训练过的动力学模型作为新型数据同化技术的先验的潜力,应用于时间序列插值和预测。
Sep, 2023
基于运算器学习的最近进展,本文提出了一种连续时空数据驱动建模框架,并通过三个数值实例研究了该框架的性能,结果证实了该建模框架的分辨率不变性,并展示了仅使用短期时间序列数据进行稳定长期模拟的能力,此外,也表明了通过混合优化方案,结合短期和长期数据,提出的模型能更好地预测长期统计数据。
Nov, 2023
该论文提出了能量一致性神经算子(ENO),这是一种学习偏微分方程的解算子的通用框架,其遵循观测到的解轨迹满足能量守恒或耗散定律。该框架使用受物理能量理论启发的新型惩罚函数进行训练,能够通过另一个深度神经网络对能量泛函进行建模,确保基于深度神经网络的解算子的输出具有能量一致性,无需显式的偏微分方程。在多个物理系统上的实验证明,ENO在从数据中预测解方面优于现有的深度神经网络模型,特别是在超分辨率设置中。
Feb, 2024
通过机器学习方法和物理领域专业见解相结合,解决基于偏微分方程的科学问题在近年来取得了很大的进展。然而,这些方法仍然需要大量的偏微分方程数据。为了提高数据效率,我们设计了无监督的预训练和上下文学习方法用于偏微分方程算子学习,通过重构为代理任务的无标签偏微分方程数据对神经算子进行预训练。为了提高超出分布的性能,我们进一步辅助神经算子以灵活地利用上下文学习方法,而无需额外的训练成本或设计。对多种偏微分方程进行的大量实证评估表明我们的方法具有高度的数据效率、更好的泛化性能,甚至胜过传统的预训练模型。
Feb, 2024
在科学机器学习中,研究人员发现利用数据驱动的解算器学习可以提供快速的近似解决方案,作为传统数值偏微分方程求解器的替代方法。本研究通过聚合多个神经操作器,识别高误差区域并提供与预测误差相关的良好不确定性估计,从而解决了现有神经操作器方法在域外测试输入上的不确定性量化问题。基于这一结果,提出了一种经济高效的方法DiverseNO,通过鼓励多个神经操作器在最后的前馈层中产生不同预测结果来模拟集成的特性。同时,引入了Operator-ProbConserv方法,将这些经过良好校准的不确定性估计嵌入ProbConserv框架以更新模型。实验结果表明,Operator-ProbConserv提高了挑战性偏微分方程问题的域外模型性能,并满足了物理约束条件如守恒定律。
Mar, 2024
本研究探讨了以扩散为基础的生成模型作为偏微分方程(PDE)神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性,并能够在多个真实动力系统中优于其他神经算子。此外,我们演示了概率扩散模型如何优雅地处理部分可识别的系统,通过生成对应于不同可能解的样本。
May, 2024
在这篇论文中,我们提出了一种新的空时傅里叶神经算子 (Spatiotemporal Fourier Neural Operator, SFNO),它学习了 Bochner 空间之间的映射,并引入了一个新的学习框架来解决神经网络训练方面的问题。这种设计通过使用一种可靠的基于可估计(Parseval)误差分析的负 Sobolev 范数作为运算符学习的损失函数来优化神经算子,从而在处理低频误差和高频误差时取得了显著的计算效率和精度改进。与端到端评估和传统数值偏微分方程求解器相比,在二维 Navier-Stokes 方程常用基准测试中进行的数值实验显示出了显著的改进。
May, 2024
通过保留潜空间中的几何信息,我们提出了一个基于连续空间时间的条件神经场求解框架,以尊重已知偏微分方程的对称性,并显示出模型在一些具有挑战性的几何结构中超越基线,并在空间和时间上适用于未见过的位置和几何变换的初始条件。
Jun, 2024