代理凸性：梯度下降训练的神经网络分析的统一框架

Jun, 2021

代理凸性：梯度下降训练的神经网络分析的统一框架

Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent

Spencer Frei, Quanquan Gu

TL;DR本文提出了一个统一的非凸优化框架，用于分析神经网络训练，引入了代理凸性和代理 Polyak-Lojasiewicz (PL) 不等式的概念，结合梯度下降，对神经网络训练的目标函数提供了高效的保证。通过代理凸性和代理 PL 不等式，本文进一步揭示了许多现有的神经网络训练保证的统一性。

Abstract

Although the optimization objectives for learning neural networks are highly non-convex, gradient-based methods have been wildly successful at learning neural networks in practice. This juxtaposition has led to a number of recent studies on provable guarantees for neural networks trained by g

neural network training non-convex optimization gradient descent proxy convexity proxy polyak-lojasiewicz

发现论文，激发创造

神经网络训练与非可微目标函数

本论文探讨了计算机视觉领域中非可微目标函数的训练问题，提出了使用可微的代理函数进行训练的解决方案，使得神经网络训练更易扩展到新型任务，包括可分解和不可分解的评估指标。

May, 2023

神经网络的凸优化景观：通过 Lasso 模型表征全局最优和稳定点

通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成 Lasso 的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

Dec, 2023

通过位移凸性分析两层神经网络

使用线性组合的神经元对凸紧致区域上的凹函数进行拟合，将所得的经验风险最小化问题收敛到概率分布空间中的 Wasserstein 渐进流（Wasserstein gradient flow），且在 bump 宽度趋近于 0 时，具有特殊的位移凸性（displacement convexity），由于此渐进理论能够描述中等值的行为，因此在对风险最小化和对宽度数量的理解方面仍存在着挑战。

Jan, 2019

具有理论保证的机器学习非凸优化：鲁棒矩阵补全和神经网络学习

本文讲述了解释性学习系统是机器学习的一个新趋势，但由于现实数据是由非线性模型生成的，在研究非凸优化问题时，提供可解释性算法是具有挑战性的，本文研究了两个非凸问题：低秩矩阵补全和神经网络学习。

Jun, 2023

偏强凸性条件下 Nesterov 动量法加速深度神经网络的收敛

本文提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明 Nesterov 的动量在这个目标类上实现了加速收敛，其中包括用于深度 ReLU 网络的两种实现方法，这是第一篇证明非平凡神经网络结构加速收敛率的论文。

Jun, 2023

梯度下降证明过参数化神经网络的最优化

本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

参数凸神经网络

该研究提出了一种基于指数多层神经网络的凸优化深度神经网络，成功地实现了对凸性的控制，并在图像分类任务中表现出了优于传统方法的性能。

Jun, 2022

梯度和近端梯度法在 Polyak-Łojasiewicz 条件下的线性收敛

介绍了一种不需要强凸性条件的梯度下降算法，并针对机器学习中的各种问题提供了新的分析方法和收敛证明。

Aug, 2016

过参数非线性系统和神经网络中的损失景观和优化

本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的 PL$^*$ 条件密切相关，这解释了（S）GD 对全局最小值的收敛，并提出了一个放松 PL$^*$ 条件的方法可应用于几乎超参数系统。

Feb, 2020

ReLU 激活函数的神经网络参数化有多退化？

研究神经网络的优化问题，发现常见的损失函数在实现空间上是凸的，通过使用神经网络的近似能力来处理非凸性问题，利用 Sobolev norm 来建立一种限制的参数化空间来实现反稳定性，并证明在受限制的参数化空间内优化仍然可以学习任何可通过无限制优化学习的函数。

May, 2019