可分离算子网络
神经网络具有普适逼近能力,使用一层隐藏层即可精确逼近任何非线性连续算子,但需要 DeepONet 结构通过降低泛化误差以实现其潜力应用。
Oct, 2019
采用神经网络参数化的物理描述框架,从分子模拟数据中自动发现连续体模型。该方法在模态空间中对支配物理方程进行参数化,对涉及对称性、各向同性和守恒性的归纳偏差提供结构。通过应用在各种物理问题中展示了该框架的有效性。
Sep, 2020
本文提出了一种被称为物理学知识不同DeepONets的新模型类,通过使用自动差分在模型训练期间施加软惩罚约束来实现重力定律,其将DeepONet模型输出偏向于确保物理一致性,进而显著提高DeepONets的预测准确性,并大大减少了大型训练数据集的需求。
Mar, 2021
提出了一种通用的框架,用于导出物理相关神经网络(PINN)和操作器学习结构(如DeepONets和FNOs)以及物理相关操作器学习的逼近误差的严格界限,并保证这些结构将有效逼近一般偏微分方程(PDE)的解或解算子。
May, 2022
通过构建一系列的网络,其中一个步骤的输出可以作为下一步训练的低保真输入,我们提出了一种用于训练物理信息神经网络和运算网络的新型多保真度框架,通过迭代过程中逐步增加模型的表达能力,该方法的迭代特性使我们能够逐步学习直接难以学习的解的特征,通过非线性摆、波动方程和粘性Burgers方程等基准问题,我们展示了如何通过堆叠方法来提高物理信息神经网络和运算网络的准确性和减少所需的规模。
Nov, 2023
深度运算符网络(DepthONets)是一类学习函数空间之间映射的神经运算符,最近已被发展成为参数化偏微分方程(PDEs)的替代模型。本文提出了一种增强导数的深度运算符网络(DE-DepthONet),利用导数信息提高预测精度,尤其在训练数据有限时能提供更准确的导数近似。DE-DepthONet将输入的维度降低到DepthONet,并在损失函数中引入两种类型的导数标签进行训练,即输出函数相对于输入函数的方向导数和相对于物理域变量的梯度。我们在三个不断增加复杂度的方程上测试了DE-DepthONet,以证明其相对于普通DepthONet的有效性。
Feb, 2024
我们提出了一种用于运算符学习的新型深度运算符网络(DeepONet)架构,即集合DeepONet,它允许通过多个不同的主干网络来丰富单个DeepONet的主干网络。这种主干丰富能够在一系列运算符学习问题上具有更强的表达能力和泛化能力。我们还提出了一种利用单位划分(PoU)近似来促进运算符学习问题的空间局部性和模型稀疏性的空间专家混合(MoE)DeepONet主干网络架构。我们首先证明了集合和PoU-MoE DeepONet都是通用逼近器。然后我们证明,包含标准主干、PoU-MoE主干和/或POD主干的集合DeepONet在涉及二维和三维偏微分方程(PDEs)的标准和挑战性新运算符学习问题上,相对于标准DeepONet和POD-DeepONet可以实现2-4倍的更低相对l2误差。我们的新的PoU-MoE公式为将空间局部性和模型稀疏性纳入任何神经网络架构提供了一种自然方式,而我们的新的集合DeepONet为运算符学习的科学机器学习架构中的基础丰富提供了一个强大而通用的框架。
May, 2024
本研究解决了转移学习在算子学习模型中适应性不足,特别是在求解偏微分方程(PDE)时的普遍问题。通过将融合框架理论与POD增强的深度算子网络(DeepONet)相结合,提出了一种新颖的架构,显著提升了模型的转移学习能力。实验结果表明,所提出的框架在多种PDE求解中的表现优于现有方法,为科学和工程领域提供了高效适应性的解决方案。
Aug, 2024