Aug, 2019

使用深层 ReLU 网络对低维流形上的非参数回归进行函数逼近和统计恢复

PDF
TL;DR本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题，并使用深层 ReLU 网络实现，研究结果表明深层 ReLU 网络具有适应低维几何结构的能力，可快速收敛于数据固有维度，进而解决高维数据的低维几何结构问题。
low-dimensional manifoldsnonparametric regressiondeep relu networksconvergence rateintrinsic dimension
发现论文，激发创造
  • 使用具有 ReLU 激活函数的深度神经网络进行非参数回归

    使用基于稀疏连接 ReLU 激活函数的深层神经网络，通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子)，同时为多层前馈神经网络表现良好提供理论解释，并表明在不用结构约束的情况下，调整深度可以使模型的性能更好。

    Aug, 2017

  • 使用过参数化的浅层 ReLU 神经网络进行非参数回归

    对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

    Jun, 2023

  • 光滑函数的深度网络逼近

    本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

    Jan, 2020

  • 一种可训练的流形在 ReLU 网络中的准确逼近

    我们提出了一种新颖的技术，用于更好地控制 ReLU 激活的神经网络的权重，从而产生更精确的函数近似。我们通过扩展现有的基本组件，将 ReLU 网络编码为复杂的操作，并获得更多线性分段的输出，从而引导网络的训练过程，克服了随机初始化和无辅助梯度下降带来的缺点，提高了对不一定在流形上的函数的逼近效果。

    Nov, 2023

  • 使用深层 ReLU 网络近似非线性泛函

    本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

    Apr, 2023

  • 深度神经网络的可证明近似性质

    讨论了使用深度神经网络逼近函数的方法，构建了一个稀疏连接的深度 - 4 神经网络，并限定其在逼近函数方面的误差。我们的网络计算小波函数，这些小波函数是由修正线性单元（ReLU）计算得到的。

    Sep, 2015

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • ReLU 浅层神经网络的逼近速度

    ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

    Jul, 2023

  • 浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用

    研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

    Apr, 2023

  • 使用修正线性单元理解深度神经网络

    本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

    Nov, 2016