全局凸优化：通过神经半定程序提升多项式激活神经网络的神经谱聚合
本研究提出了一种非线性谱方法用于全局优化某类前馈神经网络，在弱数据假设下可以实现全局最优解，而不需要手动参数调整，这是首个实际可行的具有全局最优性保证的方法。
Oct, 2016
本文分析了使用随机梯度下降（SGD）训练包含ReLU激活函数的两层前馈神经网络中所谓的“恒等映射”结构和高斯分布输入的情况下SGD收敛的机理，并通过实验证明使用该结构的多层神经网络具有比普通神经网络更好的性能。
May, 2017
本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块$l_1$惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带$l_1$正则化的线性模型。
Feb, 2020
本研究提出了使用ReLU激活函数的卷积神经网络(CNN)的训练方法，并引入了确切的凸优化公式，其复杂度与数据样本数量、神经元数量和数据维数成多项式关系。特别是，我们开发了一个凸解析框架，利用半无限对偶性来获得两层和三层CNN体系结构的等效凸优化问题。我们首先证明了利用l2范数正则化的凸程序可以全局优化两层CNNs。然后，我们证明了具有单个ReLU层的循环多层CNN训练问题等价于鼓励谱区域中的稀疏性的l1正则化凸优化程序。我们还将这些结果扩展到具有两个ReLU层的三层CNN中，并阐明了不同池化方法的内在建筑偏差作为凸正则化器的观点。
Jun, 2020
这篇论文描述了两层向量输出ReLU神经网络训练问题的凸半无限对偶问题，利用它可以找到全局最优解，而神经网络隐式地尝试通过半非负矩阵分解解决共正程序。
Dec, 2020
本文研究了基于ReLU激活函数的两层神经网络的凸优化及其群lasso正则化和加速近端梯度算法，该方法在MNIST和CIFAR-10数据集的图像分类方面表现良好。
Feb, 2022
通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成Lasso的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。
Dec, 2023
本文针对训练机器学习模型，特别是神经网络中存在的非凸优化问题进行了研究，强调了使用凸优化公式的必要性。作者提出了一种将无限宽度的两层ReLU网络训练问题重构为一个有限维度空间的凸完全正程序的方法，并引入了一种半正定松弛来提高计算效率。研究结果表明，该松弛在分类任务上的测试准确率表现优异，显示了其应用潜力。
Oct, 2024
该研究解决了训练神经网络的非凸特性给优化模型带来的挑战。通过提出一种递归公式，该方法针对多种激活函数（如凸形和S形）提供了紧致的凸化，以便更高效地计算分离超平面并处理非多面体情况。实验结果表明，这些凸近似方法在应用中具有显著的实证优势。
Oct, 2024