使用基于稀疏连接 ReLU 激活函数的深层神经网络，通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子)，同时为多层前馈神经网络表现良好提供理论解释，并表明在不用结构约束的情况下，调整深度可以使模型的性能更好。

Aug, 2017

本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。

Jan, 2020

本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

Oct, 2019

通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

Nov, 2016

通过构建一类新的经过正则化操作与 $k$-plane 变换定义的 Banach 空间，并证明具有多元非线性的神经结构是这些 Banach 空间中学习问题解集的完全刻画，我们研究了一大类神经结构的变分最优性（具体而言指 Banach 空间的最优性）。这些最优的神经结构具有跳跃连接，与正交权重归一化和多索引模型紧密相关，这在神经网络领域引起了相当大的关注。此外，我们还展示了底层空间是再生核 Banach 空间和变分空间的特殊实例，并为神经网络在数据上学习的函数的正则性提供了新的理论动机，尤其是在具有多元非线性时，并提供了对实践中一些架构选择的新的理论动力。

Oct, 2023

本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

Apr, 2023

研究神经网络的优化问题，发现常见的损失函数在实现空间上是凸的，通过使用神经网络的近似能力来处理非凸性问题，利用 Sobolev norm 来建立一种限制的参数化空间来实现反稳定性，并证明在受限制的参数化空间内优化仍然可以学习任何可通过无限制优化学习的函数。

May, 2019

本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。

May, 2017

研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

Apr, 2023

本文提供一种有限样本和无限样本再生核希尔伯特空间的（线性组合的）核函数连接的表现定理，将分析函数组成的机器学习算法的数学基础。同时，我们还展示了如何将连接的机器学习问题重构为神经网络，并说明了我们的表现定理适用于各种先进的深度学习方法。

Sep, 2017