一种可训练的流形在 ReLU 网络中的准确逼近

Nov, 2023

一种可训练的流形在 ReLU 网络中的准确逼近

A trainable manifold for accurate approximation with ReLU Networks

Max Milkert, Forrest Laine

TL;DR我们提出了一种新颖的技术，用于更好地控制 ReLU 激活的神经网络的权重，从而产生更精确的函数近似。我们通过扩展现有的基本组件，将 ReLU 网络编码为复杂的操作，并获得更多线性分段的输出，从而引导网络的训练过程，克服了随机初始化和无辅助梯度下降带来的缺点，提高了对不一定在流形上的函数的逼近效果。

Abstract

We present a novel technique for exercising greater control of the weights of relu activated neural networks to produce more accurate function approximations. Many theoretical works encode complex operations into ReLU networks using smaller base components. In these works, a common bas

relu activated neural networks function approximations convex one-dimensional functions piecewise-linear segments training process

发现论文，激发创造

使用深层 ReLU 网络对低维流形上的非参数回归进行函数逼近和统计恢复

本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题，并使用深层 ReLU 网络实现，研究结果表明深层 ReLU 网络具有适应低维几何结构的能力，可快速收敛于数据固有维度，进而解决高维数据的低维几何结构问题。

Aug, 2019

使用随机浅层 ReLU 网络进行逼近，及其在模型参考自适应控制中的应用

用 ReLU 网络和随机生成的权重和偏置，在高概率下达到高于所需精度的近似，填补了关于神经网络控制中的近似性质的证明缺失。

Mar, 2024

非线性逼近和（深层）ReLU 网络

该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

May, 2019

深度神经网络的可证明近似性质

讨论了使用深度神经网络逼近函数的方法，构建了一个稀疏连接的深度 - 4 神经网络，并限定其在逼近函数方面的误差。我们的网络计算小波函数，这些小波函数是由修正线性单元（ReLU）计算得到的。

Sep, 2015

ReLU 网络在低正则函数空间中的逼近误差和复杂度界

通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。

May, 2024

使用深度 ReLU 神经网络对分段光滑函数进行最优逼近

研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

Sep, 2017

光滑函数的深度网络逼近

本文研究了深度修正线性单元网络关于宽度和深度同时逼近平滑函数的最优逼近误差特性，并且证明了多元多项式可以被宽度为 O（N）和深度为 O（L）的深 ReLUNetwork 逼近，而且证明了具有 O（N lnN）宽度和 O（L lnL）深度的深 ReLUNetwork 能够用近乎最优的逼近误差逼近 f∈ C^s ([0,1]^d)。

Jan, 2020

人工神经网络逼近某些平滑有界函数类的必要深度，无须维数灾难

本文研究了使用 ReLU 激活的浅层和深层人工神经网络的高维逼近能力，并且证明了使用深层 ReLU 人工神经网络可以解决简单逼近问题，而不能在多项式时间复杂度下使用浅层或不够深度的人工神经网络来解决。

Jan, 2023

深度 ReLU 网络的逼近误差界

研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

Oct, 2016

ReLU 浅层神经网络的逼近速度

ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

Jul, 2023