Dec, 2016

非凸矩阵分解的对称性、鞍点和全局优化景观

PDF
TL;DR提出了一种用于研究具有对称结构的非凸优化景观的通用理论，基于不变群对目标函数的 Hessian 矩阵进行分析并应用于低秩矩阵分解问题，其中研究了所有驻点和全局最小值，将整个参数空间划分为三个区域，为常见迭代算法提供了强有力的全局收敛保证。
发现论文，激发创造
  • 非凸优化遇见低秩矩阵分解：概述

    本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

    Sep, 2018

  • 非凸低秩问题中不存在虚假局部极小点：统一的几何分析

    发展了一种新框架，旨在捕捉一般非凸低秩矩阵问题的共同局面，包括矩阵感知，矩阵完成和鲁棒 PCA，在优化风景线的现有分析的基础上进行了连接和简化，自然地导致了不对称矩阵完成和鲁棒 PCA 的新结果

    Apr, 2017

  • 矩阵分解的黎曼视角

    本文研究了使用 Riemannian 几何的非凸矩阵分解方法来完成矩阵补全的问题，并且基于 Grassmann 流形提出了一种优化模型来表征优化问题的解空间，并探究了其几何形态。在完全观测的情况下，我们证明有一定区域使得代价函数的形式是地质凸的，在这个区域之外，所有的拐点都是严格的鞍点。最后，我们结合实验结果研究了部分观测的情况。

    Feb, 2021

  • 低秩矩阵优化的非凸几何

    本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

    Nov, 2016

  • 张量分解的优化景观

    本研究分析了随机超完备张量分解问题的优化景观，证明了所有局部最大值都是近似的全局最大值，为使用基于梯度的局部搜索算法解决非凸优化问题提供了理论支持。

    Jun, 2017

  • 低秩矩阵优化中的全局最优性

    本文研究将矩阵分解后进行优化以减少计算量，并分析了具有全局收敛特性的目标函数

    Feb, 2017

  • 低秩矩阵恢复的局部搜索的全局最优性

    该研究表明，使用非凸因式分解的参数化方法可以从不一致的线性测量中恢复低秩矩阵，且不存在虚假的局部最小值。并且在有噪声的测量中，所有局部最小值都非常靠近全局最优解。结合鞍点的曲率界限，保证了随机梯度下降从随机初始化出发以多项式时间全局收敛。

    May, 2016

  • 非凸因式分解实现保证矩阵补全

    矩阵分解是一种常用的大规模矩阵补全方法，本文提出了一种理论保证，即在正则化条件下，优化算法可以收敛于矩阵分解的全局最优解，并恢复真实的低秩矩阵，其中的非对称矩阵分解的扰动分析是一项技术贡献。

    Nov, 2014

  • 非凸问题何时不再可怕？

    通过二阶信赖域算法，我们可以高效地找到满足所有局部极小值点也是全局极小值点并且任何一点的方向曲率为负的非凸优化问题的全局极小解。

    Oct, 2015

  • 神经网络的凸优化景观：通过 Lasso 模型表征全局最优和稳定点

    通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成 Lasso 的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

    Dec, 2023