MODNO: 多操作员学习与分布式神经算子
本文首次研究了基于神经网络的多输入算子回归问题,并证明了连续多输入算子的通用逼近定理。基于此,结合低秩分解,提出了一个新的神经算子 MIONet,可应用于求解由常微分方程和偏微分方程控制的系统。同时研究了提高神经算子精度的方法,如先验知识的引入。
Feb, 2022
通过对机器学习理念在函数巴拿赫空间之间进行映射的(通常是非线性)算子的应用,可以构建近似算子,这些算子通常源于用偏微分方程(PDEs)表达的物理模型。近似算子在许多查询任务中具有巨大的潜力,作为传统数值方法的高效代理模型。由于数据驱动,当无法提供基于 PDE 的数学描述时,它们还可以进行模型发现。本综述主要关注神经算子,其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看,神经算子在各种应用中都显示出了成功,但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识,着重从逼近理论的角度来看。
Feb, 2024
通过对梯度数据和卷积神经网络块的总和施加单调性约束,本研究旨在放松对卷积神经网络块的约束以提高性能,并仅将算子在图像流形附近的局部邻域内保持单调性约束,从而实现从稀疏测量恢复磁共振图像的创新方法。
Dec, 2023
本研究介绍了神经算子,它是一种学习算子的新型神经网络,能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理,可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法,并在偏微分方程的解算子的代理映射中应用了神经算子,结果表明相较于传统 PDE 求解器和现有的机器学习方法,神经算子具有更好的性能优势且速度更快。
Aug, 2021
通过探究单调算子学习 (MOL) 框架在并行 MRI 领域的适用性,本文提出了一种利用单调卷积神经网络 (CNN) 和共轭梯度算法交替迭代来保持数据一致性的并行 MRI 加速方法,并验证了该方法在静态和动态设置下的有效性。
Apr, 2023
神经网络具有普适逼近能力,使用一层隐藏层即可精确逼近任何非线性连续算子,但需要 DeepONet 结构通过降低泛化误差以实现其潜力应用。
Oct, 2019
我们建立了一个混合神经算子(MoNOs),它在功能空间之间构建复杂性由专家神经算子(NOs)网络分布。我们的主要结果是一个 “分布式” 通用逼近定理,保证可以通过 MoNO 以任意给定的 ε 精度均匀逼近在其中的 Sobolev 单位球上的任何 Lipschitz 非线性算子,并满足每个专家 NO 的深度、宽度和秩为 Ο(ε^(-1)) 的约束。我们的结果还证明了经典 NO 在 L^2 ([0,1]^d) 的紧致子集上均匀逼近连续非线性算子的新的定量表达速率。
Apr, 2024
我们提出了一种新颖的深度算子网络(DeepONets)的训练方法,通过将整个复杂训练任务分解为两个简化的子任务,首先训练主干网络,然后顺序训练分支网络,并引入了格拉姆 - 施密特正交化过程以提高稳定性和泛化能力。
Sep, 2023
通过将任意近似编码器和解码器与标准前馈深度神经网络 (DNN) 体系结构相结合,我们提出了学习巴拿赫空间之间的算子的问题。我们首先确定了一组 DNN 的族群,使得由这些深度学习 (DL) 过程所获得的产生出算子可以达到最佳的泛化性能。接下来,我们证明了 DL 对于这个问题是最优的,没有任何恢复过程可以超越这些泛化界限。最后,我们展示了在具有挑战性的问题上的实际性能,包括参数扩散、Navier-Stokes-Brinkman 和 Boussinesq 偏微分方程组。
Jun, 2024