May, 2024
集成和专家混合 DeepONets 用于运算员学习
Ensemble and Mixture-of-Experts DeepONets For Operator Learning
TL;DR我们提出了一种用于运算符学习的新型深度运算符网络（DeepONet）架构，即集合DeepONet，它允许通过多个不同的主干网络来丰富单个DeepONet的主干网络。这种主干丰富能够在一系列运算符学习问题上具有更强的表达能力和泛化能力。我们还提出了一种利用单位划分（PoU）近似来促进运算符学习问题的空间局部性和模型稀疏性的空间专家混合（MoE）DeepONet主干网络架构。我们首先证明了集合和PoU-MoE DeepONet都是通用逼近器。然后我们证明，包含标准主干、PoU-MoE主干和/或POD主干的集合DeepONet在涉及二维和三维偏微分方程（PDEs）的标准和挑战性新运算符学习问题上，相对于标准DeepONet和POD-DeepONet可以实现2-4倍的更低相对l2误差。我们的新的PoU-MoE公式为将空间局部性和模型稀疏性纳入任何神经网络架构提供了一种自然方式，而我们的新的集合DeepONet为运算符学习的科学机器学习架构中的基础丰富提供了一个强大而通用的框架。