本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。
Jan, 2021
本文提出了一种广义线性可证明鲁棒性方法来学习深度 ReLU 分类器，通过考虑凸外似集合，去开发基于线性规划的强健优化程序，提出了一种类似于反向传播网络的方法，以很高效的方式产生能够保证鲁棒性损失的优化方法，并展示了该方法在多项任务中的应用。
Nov, 2017
通过解决凸松弛，可以证明神经网络对抗性示例的鲁棒性。最近，提出了一种基于半定编程松弛的较少保守的鲁棒性证明方法。本文提出一种几何技术，用于确定该 SDP 证书是否是精确的，并在单隐藏层下证明该证书的精确性，并验证其理论洞见。
Jun, 2020
本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。
Oct, 2021
本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。
Feb, 2020
本文提出一种基于深度 ReLU 网络的攻击不可知的稳健性证书，用于多标签分类问题，通过利用 ReLU 网络的分段线性结构，提出了两个距离下界，分别为单纯形证书和决策边界证书，其中单纯形证书具有闭合形式，可微性和计算速度快的特点，并在 MNIST 数据集上验证其理论有效性。
Feb, 2019
本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。
Feb, 2022
这篇论文描述了两层向量输出 ReLU 神经网络训练问题的凸半无限对偶问题，利用它可以找到全局最优解，而神经网络隐式地尝试通过半非负矩阵分解解决共正程序。
Dec, 2020
该论文介绍了一种新的 SDP 算法，利用迭代特征向量方法将其各种操作表达为网络正反向传播。在 MNIST 和 CIFAR-10 数据集上的两个验证矢量网络中，将 L-inf 的验证鲁棒准确性从 1％提高到 88％和从 6％提高到 40％
Oct, 2020
采用 ReLU 激活函数和多项式宽度网络，在自然条件下实现对抗性训练的收敛理论，且证明了近似阶跃函数的 ReLU 网络有独立兴趣。