Aug, 2023

用尺度不变神经网络逼近正齐次函数

PDF
TL;DR通过 ReLu 网络，我们研究解决线性逆问题的可能性。我们证明了使用一个隐藏层的 ReLu 网络无法恢复 1 稀疏向量，但通过两个隐藏层可以以任意精度和任意稀疏度稳定地进行近似恢复，并且我们还将结果推广到包括低秩矩阵恢复和相位恢复在内的更广泛的恢复问题。此外，我们还考虑了使用神经网络来近似一般的正齐次函数，并且我们的结果解释了神经网络在逆问题中通常具有非常大的利普希茨常数，但在对抗性噪声下表现良好的前期矛盾。
linear inverse problemsrelu networkssparse vectorslow-rank matrix recoverypositive homogeneous functions
发现论文，激发创造
  • 使用深层 ReLU 网络近似非线性泛函

    本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

    Apr, 2023

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 使用随机浅层 ReLU 网络进行逼近，及其在模型参考自适应控制中的应用

    用 ReLU 网络和随机生成的权重和偏置，在高概率下达到高于所需精度的近似，填补了关于神经网络控制中的近似性质的证明缺失。

    Mar, 2024

  • 人工神经网络逼近某些平滑有界函数类的必要深度，无须维数灾难

    本文研究了使用 ReLU 激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层 ReLU 人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

    Jan, 2023

  • ReLU 浅层神经网络的逼近速度

    ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

    Jul, 2023

  • 使用深层 ReLU 网络对低维流形上的非参数回归进行函数逼近和统计恢复

    本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题，并使用深层 ReLU 网络实现，研究结果表明深层 ReLU 网络具有适应低维几何结构的能力，可快速收敛于数据固有维度，进而解决高维数据的低维几何结构问题。

    Aug, 2019

  • ReLU 网络在低正则函数空间中的逼近误差和复杂度界

    通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。

    May, 2024

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • 使用修正线性单元理解深度神经网络

    本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

    Nov, 2016

  • 一种可训练的流形在 ReLU 网络中的准确逼近

    我们提出了一种新颖的技术，用于更好地控制 ReLU 激活的神经网络的权重，从而产生更精确的函数近似。我们通过扩展现有的基本组件，将 ReLU 网络编码为复杂的操作，并获得更多线性分段的输出，从而引导网络的训练过程，克服了随机初始化和无辅助梯度下降带来的缺点，提高了对不一定在流形上的函数的逼近效果。

    Nov, 2023