Nov, 2019

ChebNet: 基于切比雪夫逼近的修正幂单元深度神经网络的高效稳定构建

PDF
TL;DR本文探讨了如何构建基于 Chebyshev 多项式逼近的深度 RePU 神经网络，不仅理论上和利用幂级数逼近构建的 RePU 网络具有相同的上限误差界限，而且通过实验发现，ChebNets 比使用幂级数逼近的 RePU 网络更加稳定。
deep neural networksrectified power unitschebyshev polynomial approximationsfunction approximationnumerical stability
发现论文，激发创造
  • 用带有修正幂单元的深度神经网络更好地逼近高维光滑函数

    本文研究使用深层神经网络进行平滑函数的逼近，提出了基于经典多项式逼近理论的优化算法与框架，并发现使用修正功率单元的网络对于逼近平滑函数比使用修正线性单元的网络具有更好的表现，网络的大小也更为紧凑，适用于损失函数中涉及求导的场合。

    Mar, 2019

  • 具有 RePU 激活函数的可微分神经网络：应用于分数估计和保序回归

    本文以 RePU 函数激活的可微分神经网络为研究对象，探讨其导数的性质和逼近能力，进而提出了利用 RePU 网络进行曲线拟合和罚函数优化的方法，并证明了当数据分布在低维流形上时，该方法可以有效解决维数灾难问题。

    May, 2023

  • 深度 ReLU 网络和高阶有限元方法 II：切比雪夫模拟

    对于具有指定参数定义的深度 ReLU 神经网络（NN），本文讨论了其在 Sobolev 范数中的表达速率和稳定性，针对有限分区上的连续的分段多项式函数。我们通过 Chebyshev 多项式展开系数独特构建了 ReLU NN 的代理，这些系数可以通过在 Clenshaw-Curtis 点上函数的值使用逆快速傅里叶变换轻松计算得到。与基于 ReLU NN 模拟多项式的构造方法相比，本文获得了更优的表达速率和稳定性界限。所有模拟界限均明确以区间的分割、目标模拟精度和每个分割元素的多项式次数来表示。本文还针对在数值分析中常见的各种函数和范数提供了 ReLU NN 模拟误差估计，特别是对于具有点奇异性的解析函数展示了指数级的 ReLU 模拟速率界限，并发展了 Chebfun 逼近和构造性 ReLU NN 模拟之间的接口。

    Oct, 2023

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • DeepBern-Nets: 使用 Bernstein 多项式激活和精确边界传播驯服神经网络认证的复杂性

    本文提出了一种基于 Bernstein 多项式的神经网络激活函数 DeepBern-Nets，并设计了新算法 Bern-IBP，用于更有效地计算其输出的紧密界限。实验表明，基于 Bernstein 多项式的激活函数可提高神经网络的证明过程，并在对抗性训练中取得了较高的证明准确性。

    May, 2023

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 深度 ReLU 网络的逼近误差界

    研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

    Oct, 2016

  • 卷积神经网络在图上的 Chebyshev 逼近，重温

    本文的研究目的是通过 Chebyshev 多项式的逼近来研究光谱卷积网络的设计问题。我们发现 ChebNetII 能够学习任意的图卷积并在全监督和半监督的节点分类任务中显示出优异的表现。

    Feb, 2022

  • 人工神经网络逼近某些平滑有界函数类的必要深度，无须维数灾难

    本文研究了使用 ReLU 激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层 ReLU 人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

    Jan, 2023

  • 使用深层 ReLU 网络近似非线性泛函

    本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

    Apr, 2023