May, 2024

ReLU 网络在低正则函数空间中的逼近误差和复杂度界

PDF
TL;DR通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。
发现论文，激发创造
  • 在 $W^{s,p}$ 范数下使用深度 ReLU 神经网络进行逼近的误差界

    通过 ReLU 神经网络的微积分构建人工神经网络，我们分析了针对弱 Sobolev 范数的 Sobolev 正则函数的逼近速率。其次，我们为 Sobolev 正则函数的类建立了对于 ReLU 神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

    Feb, 2019

  • 深度 ReLU 网络的逼近误差界

    研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

    Oct, 2016

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • ReLU 浅层神经网络的逼近速度

    ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

    Jul, 2023

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 关于近似 ReLU 神经网络参数的增长

    对于具有最先进的逼近误差的 ReLU 结构，本研究的主要结果是其实现参数的增长至多是多项式的，与现有结果相比，在大多数情况下，特别是对于高维输入，该增长率优于现有结果。

    Jun, 2024

  • 使用深度 ReLU 神经网络对分段光滑函数进行最优逼近

    研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

    Sep, 2017

  • 深度逼近空间的抽样复杂性

    基于信息复杂性工具，本研究扩展了先前工作，证明了存在可以用带有 ReLU 激活函数的神经网络进行任意速率逼近的函数，但其数值计算需要指数级增长的样本数量，并展示了对于 ReQU 激活函数类似的结果。

    Dec, 2023

  • ReLU 网络的三种量化模式

    我们通过导出上下界的极小极大逼近误差，确定了基于有限精度权重的深度 ReLU 神经网络逼近 Lipschitz 函数的三种情况：欠量化、过量化和适当量化。乍一看，深度网络在逼近 Lipschitz 函数时表现出内在的记忆有效性，与浅层网络相比，具有固有优势。此外，我们还发展了深度和精度之间的权衡概念，表明具有高精度权重的网络可以转化为具有低精度权重的功能等效更深层的网络，并保持记忆有效性。这个想法类似于 sigma-delta 模数转换，在信号样本的量化中超采样率与分辨率之间进行权衡。我们改进了对 Lipschitz 函数的 ReLU 网络逼近结果，并描述了一种独立通用的位提取技术的改进。

    May, 2024

  • 使用深层 ReLU 网络近似非线性泛函

    本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

    Apr, 2023