神经网络的凸优化景观：通过 Lasso 模型表征全局最优和稳定点

ICMLDec, 2023

神经网络的凸优化景观：通过 Lasso 模型表征全局最优和稳定点

The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models

Tolga Ergen, Mert Pilanci

TL;DR通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成 Lasso 的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

Abstract

Due to the non-convex nature of training Deep Neural Network (DNN) models, their effectiveness relies on the use of non-convex optimization heuristics. Traditional methods for training DNNs often require costly empirical methods to produce successful models and do not have a clear theo

deep neural network (dnn) models non-convex optimization heuristics convex optimization theory sparse recovery models training data

发现论文，激发创造

机器学习的非凸优化

本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

Dec, 2017

通过凸对偶揭示深度神经网络的结构

本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明 For 深度 ReLU 网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了 “神经坍塌” 现象的完整解释。

Feb, 2020

通过凸优化实现两层之外深度 ReLU 网络的全局最优

本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

Oct, 2021

利用凸神经网络打破维度诅咒

研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

Dec, 2014

全局凸优化：通过神经半定程序提升多项式激活神经网络的神经谱聚合

本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。

Jan, 2021

无劣局部极小值的深度学习

本文通过解决一个数学猜想并部分解决一个关于深度学习神经网络的开放性问题，从任意深度和宽度的角度证明了其对于平方误差函数的独特性，发现 “坏” 的鞍点只存在于深层网络中，给出了深度学习理论和非凸优化的合理性，但与实际应用仍有一定距离。

May, 2016

具有非凸性的正则化 M 估计：局部最优解的统计和算法理论

本文提供了关于正则化 M - 估计器局部最优解的新理论结果，覆盖了许多感兴趣的非凸目标函数，包括误差 - 变量线性模型的校正套索方法，具有非凸罚项的广义线性模型回归，以及高维图模型估计，我们提供了误差的上限，证明了我们的理论结果，同时提出了一种简单的修改方法，使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解，这是任何一阶方法可能达到的最快速度。

May, 2013

具有理论保证的机器学习非凸优化：鲁棒矩阵补全和神经网络学习

本文讲述了解释性学习系统是机器学习的一个新趋势，但由于现实数据是由非线性模型生成的，在研究非凸优化问题时，提供可解释性算法是具有挑战性的，本文研究了两个非凸问题：低秩矩阵补全和神经网络学习。

Jun, 2023

多元神经网络学习真实目标函数

通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

Nov, 2016

一个镜面图书馆：低维深度神经网络是具有反射特征的凸 Lasso 模型

通过证明，我们发现在一维数据上训练神经网络等效于求解一个带有固定、明确定义的特征字典矩阵的凸 Lasso 问题。具体的字典取决于激活函数和深度。我们研究了具有分段线性激活函数的两层网络，具有最多 4 层的深窄 ReLU 网络，以及具有符号激活和任意深度的矩形和树状网络。有趣的是，在 ReLU 网络中，第四层创建了代表训练数据关于它们自身的反射的特征。Lasso 表示法为全局最优网络和解决方案空间提供了洞察。

Mar, 2024