Nov, 2023

B-LSTM-MIONet: 基于贝叶斯 LSTM 的神经算子，用于学习复杂动力系统对长度可变多输入函数的响应

PDF
TL;DR深度运算器网络（DeepONet）是一种神经网络框架，用于学习描述复杂系统的非线性运算器，该研究通过将长短期记忆（LSTM）集成到多输入神经网络运算器（MIONet）中，以克服数据离散化约束，利用变长实时数据，提高模型在噪声数据集上的准确性和可靠性，并引入贝叶斯方法对不确定性进行量化。
deep operator networkneural network frameworkoperatorslong short term memoryuncertainty quantification
发现论文，激发创造
  • DON-LSTM：多分辨率学习中的 DeepONets 和长短时记忆神经网络

    通过在深度操作网络中增加长期短期记忆网络，我们提出了一种名为 DON-LSTM 的新型架构，使网络具备了利用多分辨率数据和捕捉长序列中的时间依赖性的能力。在多个非线性系统的长时间演化建模任务中，我们测试了我们的方法，并展示了提出的多分辨率 DON-LSTM 相对于其原始对照模型，在泛化误差显著减小且需要更少高分辨率样本的优势。

    Oct, 2023

  • 通过张量积学习多输入算子的 MIONet

    本文首次研究了基于神经网络的多输入算子回归问题，并证明了连续多输入算子的通用逼近定理。基于此，结合低秩分解，提出了一个新的神经算子 MIONet，可应用于求解由常微分方程和偏微分方程控制的系统。同时研究了提高神经算子精度的方法，如先验知识的引入。

    Feb, 2022

  • HyperDeepONet：通过超网络利用有限资源学习复数目标函数空间中的算子

    提出了一种使用超网络的方法，即 HyperDeepONet，通过较少的参数来学习复杂操作符，并成功地在较少的计算资源下学习各种操作符，并具有实时预测的能力。

    Dec, 2023

  • 考虑多个输入函数的增强型 DeepONet 模型用于建模偏微分算子

    本文介绍了一种扩展了输入功能的神经网络结构 - Enhanced DeepONet，该结构可接受多个输入功能，通过内积与输出卡车网络连接，可用于模拟偏微分方程。数值结果表明，Enhanced DeepONet 的精度约为全连接神经网络的 7-17 倍或简单扩展 DeepONet 的 2-3 倍。

    Feb, 2022

  • 在潜在空间中学习提高深度神经算子的预测准确性

    使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

    Apr, 2023

  • DeepONet：基于算子的普适逼近定理学习非线性算子用于鉴别微分方程

    神经网络具有普适逼近能力，使用一层隐藏层即可精确逼近任何非线性连续算子，但需要 DeepONet 结构通过降低泛化误差以实现其潜力应用。

    Oct, 2019

  • 衍生增强的深层算子网络

    深度运算符网络 (DepthONets) 是一类学习函数空间之间映射的神经运算符，最近已被发展成为参数化偏微分方程 (PDEs) 的替代模型。本文提出了一种增强导数的深度运算符网络（DE-DepthONet），利用导数信息提高预测精度，尤其在训练数据有限时能提供更准确的导数近似。DE-DepthONet 将输入的维度降低到 DepthONet，并在损失函数中引入两种类型的导数标签进行训练，即输出函数相对于输入函数的方向导数和相对于物理域变量的梯度。我们在三个不断增加复杂度的方程上测试了 DE-DepthONet，以证明其相对于普通 DepthONet 的有效性。

    Feb, 2024

  • 线性动力学嵌入神经网络用于长序列建模

    长序列建模中性能和计算效率之间的权衡成为现有模型的瓶颈，本文基于控制理论中具有多输入和多输出的连续状态空间模型（SSMs），提出了一种新型神经网络，称为线性动力学嵌入神经网络（LDNN）。通过对角化和解耦然后快速傅里叶变换（FFT）的两种高效策略，将卷积的时间复杂度从 O (LNHmax {L, N}) 降低到 O (LNmax {H, log L})，实现了 LDNN 在长序列任务中的少参数、灵活推断和高效训练。我们通过双向非因果和多头设置进一步改进了 LDNN，以适应更广泛的应用领域。对长距离竞技场（LRA）进行了大量实验证明了 LDNN 的有效性和最先进的性能。

    Feb, 2024

  • 关于深度操作网络的训练和泛化

    我们提出了一种新颖的深度算子网络（DeepONets）的训练方法，通过将整个复杂训练任务分解为两个简化的子任务，首先训练主干网络，然后顺序训练分支网络，并引入了格拉姆 - 施密特正交化过程以提高稳定性和泛化能力。

    Sep, 2023

  • 通过图神经网络和深度算子网络学习时变 PDE 以实现在不规则网格上的鲁棒性精度

    提出了 GraphDeepONet，一种基于 GNN 的自回归模型，能够适应 DeepONet 并有效地学习操作符，具有在不规则网格上预测解以及对时间依赖性 PDE 解进行时间外推的能力。对 GraphDeepONet 的普适逼近能力进行了理论分析。

    Feb, 2024