具有理论保证的机器学习非凸优化：鲁棒矩阵补全和神经网络学习

Jun, 2023

具有理论保证的机器学习非凸优化：鲁棒矩阵补全和神经网络学习

Non-Convex Optimizations for Machine Learning with Theoretical Guarantee: Robust Matrix Completion and Neural Network Learning

PDF

Shuai Zhang

TL;DR本文讲述了解释性学习系统是机器学习的一个新趋势，但由于现实数据是由非线性模型生成的，在研究非凸优化问题时，提供可解释性算法是具有挑战性的，本文研究了两个非凸问题：低秩矩阵补全和神经网络学习。

Abstract

Despite the recent development in machine learning, most learning systems are still under the concept of "black box", where the performance cannot be understood and derived. With the rise of safety and privacy concerns in public, designing an →

machine learning explainable learning system non-convex optimization low-rank matrix completion neural network learning

发现论文，激发创造

机器学习的非凸优化

本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

Dec, 2017

非凸优化遇见低秩矩阵分解：概述

本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

Sep, 2018

弱凸凹性最小最大优化：可证明算法及其在机器学习中的应用

本文研究了一类非凸的最小值最大值问题，其中目标函数在最小化变量上是弱凸的，在最大化变量上是凸的。针对不同的光滑和不光滑的实例，我们提出了近端引导随机次梯度方法和近端引导随机方差减少方法。同时，我们分析了所提出方法在找到最小值和最大值对应的几乎稳定点的时间复杂性。

Oct, 2018

定性描述神经网络优化问题

本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

Dec, 2014

低秩矩阵优化的非凸几何

本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

Nov, 2016

矩阵填充无虚假局部极小值

本文探讨了解决基本的机器学习问题 —— 矩阵补全的方法，并证明了普遍使用的非凸优化问题在正半定矩阵补全中没有局部极小值，可用于任意初始化的优化算法，并可在多项式时间内证明其正确性。

May, 2016

神经网络的凸优化景观：通过 Lasso 模型表征全局最优和稳定点

通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成 Lasso 的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

Dec, 2023

非凸矩阵完成对抗半随机对手

本文提出在非凸优化算法的研究中，矩阵补全问题是一个重要的问题，但现有的理论分析都基于每个条目都有相同的概率被观察到的假设，不符合实际。因此，当每个条目被观察到的概率稍有不同的情况下，我们提出一种预处理方法，以便可以恢复基础地真实矩阵。

Mar, 2018

带有非凸损失函数的约束学习

本文提出利用经验对偶域学习解决受约束的统计学习问题，并使用一种实用的受约束学习算法，在社会、工业和医学领域中实现对学习的显式约束。我们在公平性和对抗鲁棒性方面的速率受限学习应用中说明了这一理论和算法。

Mar, 2021

约束学习问题的近似最优解

通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

Mar, 2024