对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

Jun, 2023

研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

Apr, 2023

提供了一个浅层神经网络的结构的几何解释，该网络具有一个隐藏层、一个斜坡激活函数、一个 L2 Schatten 类（或 Hilbert-Schmidt）代价函数、输入空间 R^M、输出空间 R^Q（其中 Q≤M），以及训练输入样本大小 N>QM，并且以 O (δ_P) 的阶数证明了成本函数的最小值的一个上界，其中 δ_P 度量了训练输入的信噪比。通过使用投影来适应于属于相同输出向量 y_j（其中 j = 1、…、Q）的训练输入向量的平均值 x_0,j，获得了一个近似优化器，并且在特殊情况 M = Q 下，我们明确确定了成本函数的一个精确退化局部最小值，其尖锐值与 QM 得到的上界相差一个相对误差 O (δ_P^2)，所得到的上界的证明得到了一个建设性训练的网络；我们展示它度量了由 x_0,j（其中 j = 1、…、Q）张成的输入空间 R^M 中的 Q 维子空间。我们还对给定上下文中成本函数的全局最小值的特征进行了评论。

Sep, 2023

本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题，并使用深层 ReLU 网络实现，研究结果表明深层 ReLU 网络具有适应低维几何结构的能力，可快速收敛于数据固有维度，进而解决高维数据的低维几何结构问题。

Aug, 2019

研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β})$，并证明这是最优的。此外，为了实现最优逼近率，需要具有一定深度的 ReLU 网络。最后，分析了在高维空间中使用特征映射和分类器函数逼近的情况。

Sep, 2017

ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

Jul, 2023

本文探讨使用随机梯度下降法训练具有 ReLU 网络的单隐藏层多元网络应用于二次损失下所得到解的性质，得到其 Laplacian 的类似结果。结果表明，当步长增大时，网络映射函数二阶导数有界性的界限变小，即使用更大的步长会导致更平稳的预测器，最后，本文证明了如果函数在 Sobolev 意义下足够平滑，则可以使用相应于梯度下降稳定解的 ReLU 浅层网络任意逼近。

Jun, 2023

用浅层的 ReLU 神经网络近似表示分段线性函数与有限元函数之间的关系，并通过有限元函数分析 ReLU 神经网络在 $L^p$ 范数下的逼近能力，同时讨论了最近的张量神经网络在张量有限元函数的严格表示上的应用。

Mar, 2024

本文提出了一种方法，通过引入受控亚线性激活函数和逐通道排序池化层来适应现有深度神经网络，从而实现网络的归一化等变性，这些修改不会损失性能，并应用于图像去噪中。

Jun, 2023

研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为，发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合，但对于 p≥2 却是灾难性的。

Jul, 2023