本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

Oct, 2021

本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。

Feb, 2022

本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

Feb, 2020

研究了带有权重衰减正则化的两层 ReLU 神经网络的训练复杂性，证明了近似 ReLU 网络的困难程度不仅与 Max-Cut 问题的复杂性相对应，而且在某些特殊情况下确切对应。具有多项式时间近似保证和近似困难性结果，以及对三种不同类型训练数据集的多项式时间近似分类。

Nov, 2023

在神经网络模型中，使用 Gradient descent 算法时，当输入分布满足高斯分布时，使用 Convolutional neural network 和 ReLU activations 的神经网络模型可以在多项式时间内收敛于全局最优点。但是，我们证明了这种情况下学习是 NP 完全问题。

Feb, 2017

通过把非凸培训问题重新定义为凸程序，我们开发了一个分析框架来表征最佳 ReLU 神经网络的集合，并指出凸参数化的全局最优解是由一个多面体集合给出的。我们还扩展了这种特征，以获得非凸培训目标的最优集合。由于 ReLU 培训问题的所有静态点都可以表示为子采样凸计划的最优解，因此我们的工作为所有非凸目标的临界点提供了一个一般表达式。我们利用这些结果，提供了一种计算最小网络的最佳减枝算法，建立了 ReLU 网络正则化路径连续的条件，并开发了最小 ReLU 网络的灵敏度结果。

May, 2023

本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

通过对常用凸松弛方法进行深入研究，我们发现：（i）更高级的松弛方法允许更多单变量函数被精确分析的 ReLU 网络表达，（ii）更精确的松弛方法能够允许指数级规模的解空间编码相同函数的 ReLU 网络，以及（iii）即使使用最精确的单神经元松弛方法，也无法构建能够精确分析多变量凸、单调的分段线性函数的 ReLU 网络。

Nov, 2023

研究神经网络的优化问题，发现常见的损失函数在实现空间上是凸的，通过使用神经网络的近似能力来处理非凸性问题，利用 Sobolev norm 来建立一种限制的参数化空间来实现反稳定性，并证明在受限制的参数化空间内优化仍然可以学习任何可通过无限制优化学习的函数。

May, 2019

对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

Jun, 2023