Dec, 2023

深度神经网络与任意维度的任意阶有限元方法

PDF
TL;DR采用深度神经网络和 ReLU 激活函数，本研究证明能够在任意维度的分形网格上表示 Lagrange 有限元函数。通过引入基函数的新型全局公式，基于几何分解和高维分形网格及质心坐标函数的两个关键性质，该表示理论为这些深度神经网络的自然近似结果提供了便利。研究结果首次证明了深度神经网络如何系统地生成一般的连续分段多项式函数。
deep neural networksrelu activation functionslagrange finite element functionssimplicial meshespiecewise polynomial functions
发现论文，激发创造
  • 浅层 ReLU 神经网络与有限元方法

    用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。

    Mar, 2024

  • ReLU 深度神经网络与线性有限元

    研究使用 ReLU 函数作为激活函数的深度神经网络和连续分段线性函数的关系，特别是从单纯形线性有限元法（FEM）得到的连续分段线性函数。在此基础上，我们证明了使用 ReLU DNN 表示任何线性有限元函数需要至少两个隐藏层，而使用 ReLU DNN 表示任何 CPWL 函数需要至少两个隐藏层。最后演示了使用 ReLU DNN 求解偏微分方程组的结果。

    Jul, 2018

  • 关于 Gevrey 类离散点奇异性的 ReLU^k 神经网络的指数表达能力

    该研究分析了具有点奇异性的平滑函数在有边界多面体域 D 中的深度神经网络仿真速率，证明了在 Sobolev 空间中，以神经元数量和非零系数数量为指标的指数级仿真速率，中间结果证明了具有 ReLu 和 ReLu^2 激活的神经网络能够精确模拟任意正则的多面体域 D 上具有高次多项式度 p 的连续分段多项式有限元，神经元数量和非零参数数量与有限元空间的自由度数成比例，特别适用于 I.M. Babuška 和 B.Q. Guo 的 hp 有限元方法。

    Mar, 2024

  • 深度神经网络和参数化偏微分方程的理论分析

    本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

    Mar, 2019

  • 深度神经网络逼近复合函数的无维度诅咒

    本文发现使用修正线性单元（ReLU）激活的深度神经网络（DNNs）可以近似表示一类高维连续函数，其参数数量与输入维度和近似误差的多项式规模相同，该类函数由多个特殊函数的组合表示，包括乘积，最大值和某些并行的 Lipschitz 连续函数。

    Apr, 2023

  • 带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

    深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。

    Sep, 2023

  • 高维度中的平滑函数学习：从稀疏多项式到深度神经网络

    从有限的点值样本学习多变量平滑目标函数的近似是科学计算和计算科学工程中的一个重要任务。本文调查了近年来在此方面取得的重大进展，描述了来自参数模型和计算不确定性量化的当代动机，无穷维巴拿赫空值全纯函数类，这些类的有限数据可学习性的基本限制，以及从有限数据高效学习此类函数的稀疏多项式和深度神经网络方法。针对深度学习的实际性能与深度神经网络的近似理论之间的差距，我们发展了实际存在理论的主题，宣称存在维度无关的 DNN 结构和训练策略，以证明在训练数据量方面具有可证明近似最优的泛化误差。

    Apr, 2024

  • 具有 ReLU、leaky ReLU 和 softplus 激活函数的深度神经网络在半线性偏微分方程空时解中可被证明地克服维数灾难

    使用深度学习方法中的深度神经网络（DNN）和修正线性单元（ReLU）、渗漏线性单元（leaky ReLU）或软正单元（softplus）激活函数，可以在无维数的空间 - 时间区域中以 Lp 意义逼近具有 Lipschitz 连续非线性性质的半线性热方程的解。

    Jun, 2024

  • 深度 ReLU 网络和高阶有限元方法 II：切比雪夫模拟

    对于具有指定参数定义的深度 ReLU 神经网络（NN），本文讨论了其在 Sobolev 范数中的表达速率和稳定性，针对有限分区上的连续的分段多项式函数。我们通过 Chebyshev 多项式展开系数独特构建了 ReLU NN 的代理，这些系数可以通过在 Clenshaw-Curtis 点上函数的值使用逆快速傅里叶变换轻松计算得到。与基于 ReLU NN 模拟多项式的构造方法相比，本文获得了更优的表达速率和稳定性界限。所有模拟界限均明确以区间的分割、目标模拟精度和每个分割元素的多项式次数来表示。本文还针对在数值分析中常见的各种函数和范数提供了 ReLU NN 模拟误差估计，特别是对于具有点奇异性的解析函数展示了指数级的 ReLU 模拟速率界限，并发展了 Chebfun 逼近和构造性 ReLU NN 模拟之间的接口。

    Oct, 2023

  • 使用深度 ReLU 神经网络对分段光滑函数进行最优逼近

    研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

    Sep, 2017