研究神经网络学习的样本复杂度，提供了关于每层参数矩阵范数约束的 Rademacher 复杂度的新界限，改进了前人的成果，并使用一些新技术获得了网络深度的改进关系，且在一些额外假设的情况下，完全独立于网络大小 (深度和宽度)。

Dec, 2017

通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。

May, 2024

本文中，我们在非线性神经网络学习问题上，通过精确量化每个训练算法所需的最小训练样本数量，以保证目标类中包含或由预定义结构的 ReLU 神经网络的高精度，从而证明了在非常一般的假设下，训练样本的最小数量随着网络结构的深度和输入维度呈指数级增长。

May, 2022

研究无穷宽度神经网络中的深度分离，该复杂性由权重的整体平方 L2 范数控制（网络中所有权重的平方和）。在以往的深度分离结果中，关注的是宽度方面的分离，这样的结果无法揭示深度是否决定了在网络宽度无限时是否可能学习出具有良好泛化性能的网络。本文研究以学习可行性所需的样本复杂性为标准的分离。具体来说，我们展示了通过由范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度可学习的函数，而由范数控制的深度为 2 的 ReLU 网络无法通过次指数样本复杂度学习相同函数（对于任何范数值）。同时，我们还证明了在反向方向上不可能存在相似的陈述：通过具有无限宽度的范数控制的深度为 2 的 ReLU 网络以多项式样本复杂度可学习的任何函数也可以通过具有范数控制的深度为 3 的 ReLU 网络以多项式样本复杂度学习。

Feb, 2024

本文研究基于 ReLU 激活函数的深度 2 神经网络在训练上的困难性，并证明了最小化给定训练集的二次损失函数下的权重和差异生成问题、K 个 ReLU 加权求和问题在现实情况下均为 NP 难问题；同时还针对该问题提出算法时间下限并进行上界分析。

Nov, 2020

基于信息复杂性工具，本研究扩展了先前工作，证明了存在可以用带有 ReLU 激活函数的神经网络进行任意速率逼近的函数，但其数值计算需要指数级增长的样本数量，并展示了对于 ReQU 激活函数类似的结果。

Dec, 2023

使用一种称为过滤式 PCA 的新工具来解决学习具有 ReLu 激活函数的神经网络的问题，该算法可以快速，并且不需要权重具有良好的条件或正系数的假设。

Sep, 2020

通过考虑网络的额外数据相关属性，如隐藏层的范数和每层相对于之前所有层的雅可比矩阵的范数，我们获得了更紧的基于 Rademacher 复杂度的界限。在实践中，我们直接通过规范化网络的雅可比矩阵来改善测试性能。

May, 2019

本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

May, 2021

通过 ReLU 神经网络的微积分构建人工神经网络，我们分析了针对弱 Sobolev 范数的 Sobolev 正则函数的逼近速率。其次，我们为 Sobolev 正则函数的类建立了对于 ReLU 神经网络的逼近下界，并将结果拓展到应用于偏微分方程数值分析的最相关情景。

Feb, 2019