通过张量积学习多输入算子的 MIONet
本研究介绍了神经算子,它是一种学习算子的新型神经网络,能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理,可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法,并在偏微分方程的解算子的代理映射中应用了神经算子,结果表明相较于传统 PDE 求解器和现有的机器学习方法,神经算子具有更好的性能优势且速度更快。
Aug, 2021
提出了一种利用 MIONet 在具有不同域定义的偏微分方程上学习求解算子的方法,并在理论上对此方法进行了验证。通过将 MIONet 的逼近理论扩展到处理度量空间,构造了一组包含适当区域的集合,并在该集合上提供了一种满足 MIONet 逼近条件的度量,从而在处理包括微分算子、右手边项、边界条件和域参数在内的各种参数变化的 PDE 的求解映射方面取得了进展。实验证明该方法在处理凸多边形、具有光滑边界的极坐标区域以及不同离散程度的任务预测方面表现出色。明确地指出,这是一种无网格方法,因此可以作为一种一类 PDE 的通用求解器灵活使用。
Feb, 2024
使用分布式训练方法,本文提出了一种新颖的方法,可以通过少量参数有效地解决多算子学习问题,同时通过对多个类似算子的数据使用互补学习能够更有效地构建具有有限数据的算子,提高运算学习的效率。
Apr, 2024
神经网络具有普适逼近能力,使用一层隐藏层即可精确逼近任何非线性连续算子,但需要 DeepONet 结构通过降低泛化误差以实现其潜力应用。
Oct, 2019
深度运算器网络(DeepONet)是一种神经网络框架,用于学习描述复杂系统的非线性运算器,该研究通过将长短期记忆(LSTM)集成到多输入神经网络运算器(MIONet)中,以克服数据离散化约束,利用变长实时数据,提高模型在噪声数据集上的准确性和可靠性,并引入贝叶斯方法对不确定性进行量化。
Nov, 2023
通过对机器学习理念在函数巴拿赫空间之间进行映射的(通常是非线性)算子的应用,可以构建近似算子,这些算子通常源于用偏微分方程(PDEs)表达的物理模型。近似算子在许多查询任务中具有巨大的潜力,作为传统数值方法的高效代理模型。由于数据驱动,当无法提供基于 PDE 的数学描述时,它们还可以进行模型发现。本综述主要关注神经算子,其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看,神经算子在各种应用中都显示出了成功,但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识,着重从逼近理论的角度来看。
Feb, 2024
利用深度学习的进展,本研究提出了 Multiple-Input-Multiple-Output Neural Networks (MIMONets) 的概念,通过超定的计算来降低推理成本,并在动态参数范围内实现准确率与吞吐量的权衡。MIMONets 应用于 CNN 和 Transformer 架构,分别命名为 MIMOConv 和 MIMOFormer,并通过实证评估验证了它们的高速和准确性。
Dec, 2023
提出了一种仅依赖于多线性操作、名为 Mu-Layer 的核心层的模型 MONet,在图像识别和科学计算基准测试中表现优异,超越了之前的多项式网络,并与现代架构相当,有望激发进一步研究纯粹使用多线性操作的模型。
Jan, 2024
本文介绍了一种扩展了输入功能的神经网络结构 - Enhanced DeepONet,该结构可接受多个输入功能,通过内积与输出卡车网络连接,可用于模拟偏微分方程。数值结果表明,Enhanced DeepONet 的精度约为全连接神经网络的 7-17 倍或简单扩展 DeepONet 的 2-3 倍。
Feb, 2022