Aug, 2023

深层运算网络的尺寸下界

PDF
TL;DR深度操作网络是解决无限维度回归问题和解决一类偏微分方程的一种越来越受欢迎的范式。本文旨在建立一种首次依赖数据的，能够减少噪声数据上经验误差的 DeepONets 所需的下界大小。具体来说，我们表明为了在 n 个数据点上获得较低的训练误差，分支网络和主干网络的共同输出维度需要按照 Ω (√n) 的比例缩放。这激发了我们使用 DeepONets 解决对流 - 扩散 - 反应 PDE 的实验，我们展示了在固定模型大小的情况下，利用这个共同输出维度的增加可以获得训练误差的单调降低，但训练数据的大小可能需要与其呈平方比例关系。
deep operator networksregressionpdestraining dataempirical error
发现论文，激发创造
  • 衍生增强的深层算子网络

    深度运算符网络 (DepthONets) 是一类学习函数空间之间映射的神经运算符，最近已被发展成为参数化偏微分方程 (PDEs) 的替代模型。本文提出了一种增强导数的深度运算符网络（DE-DepthONet），利用导数信息提高预测精度，尤其在训练数据有限时能提供更准确的导数近似。DE-DepthONet 将输入的维度降低到 DepthONet，并在损失函数中引入两种类型的导数标签进行训练，即输出函数相对于输入函数的方向导数和相对于物理域变量的梯度。我们在三个不断增加复杂度的方程上测试了 DE-DepthONet，以证明其相对于普通 DepthONet 的有效性。

    Feb, 2024

  • 在潜在空间中学习提高深度神经算子的预测准确性

    使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

    Apr, 2023

  • 关于深度操作网络的训练和泛化

    我们提出了一种新颖的深度算子网络（DeepONets）的训练方法，通过将整个复杂训练任务分解为两个简化的子任务，首先训练主干网络，然后顺序训练分支网络，并引入了格拉姆 - 施密特正交化过程以提高稳定性和泛化能力。

    Sep, 2023

  • 利用物理信息的深度神经网络学习参数偏微分方程的解算子

    本文提出了一种被称为物理学知识不同 DeepONets 的新模型类，通过使用自动差分在模型训练期间施加软惩罚约束来实现重力定律，其将 DeepONet 模型输出偏向于确保物理一致性，进而显著提高 DeepONets 的预测准确性，并大大减少了大型训练数据集的需求。

    Mar, 2021

  • DeepONet：基于算子的普适逼近定理学习非线性算子用于鉴别微分方程

    神经网络具有普适逼近能力，使用一层隐藏层即可精确逼近任何非线性连续算子，但需要 DeepONet 结构通过降低泛化误差以实现其潜力应用。

    Oct, 2019

  • 神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

    这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

    Sep, 2018

  • 面向物理学习的算子学习的近似误差的通用界限

    提出了一种通用的框架，用于导出物理相关神经网络（PINN）和操作器学习结构（如 DeepONets 和 FNOs）以及物理相关操作器学习的逼近误差的严格界限，并保证这些结构将有效逼近一般偏微分方程（PDE）的解或解算子。

    May, 2022

  • 基于深度运算网络的代理建模的新数据生成方案

    在本研究中，我们提出了一种新颖的方法来减轻 DeepONets 训练数据生成的计算负担，通过使用高斯过程回归 (GPR) 来生成输出场，然后利用有限差分技术计算输入源场，从而显著减少了与 DeepONet 的训练数据集生成相关的计算成本。该方法可以推广到其他操作学习方法，并适用于多种边界值问题，以验证这种方法。

    Feb, 2024

  • 深度神经运算符可作为准确的形状优化替代方法：以翼型为例的案例研究

    本研究探索使用 DeepONets 方法推断未知气动翼型的流场并优化其形状，结果表明 DeepONets 非常适合生成未知形状的高准确度解决方案，可以在毫秒级时间内准确推断压强、密度和速度场等信息，为气动设计提供了极大的便利。

    Feb, 2023

  • 考虑多个输入函数的增强型 DeepONet 模型用于建模偏微分算子

    本文介绍了一种扩展了输入功能的神经网络结构 - Enhanced DeepONet，该结构可接受多个输入功能，通过内积与输出卡车网络连接，可用于模拟偏微分方程。数值结果表明，Enhanced DeepONet 的精度约为全连接神经网络的 7-17 倍或简单扩展 DeepONet 的 2-3 倍。

    Feb, 2022