提出了一种用于研究具有对称结构的非凸优化景观的通用理论，基于不变群对目标函数的 Hessian 矩阵进行分析并应用于低秩矩阵分解问题，其中研究了所有驻点和全局最小值，将整个参数空间划分为三个区域，为常见迭代算法提供了强有力的全局收敛保证。

Dec, 2016

本研究分析了梯度下降和其他算法在典型推理问题中对损失景观和性能之间的相互作用，并在 spiked matrix-tensor 模型上以负对数似然为损失函数来研究了大信噪比条件下的局部极小值数量及其所在位置。我们使用物理中无序系统的积分微分 PDE 分析了梯度流算法的性能，并分析了一种通过状态演化来估计极大似然配置的近似消息传递算法的性能。结果表明，尽管我们观察到景观的平凡化导致梯度流动力学明显放缓，但两种分析算法在存在虚假局部最小值的参数区域的部分区域中都表现良好。

Feb, 2019

本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

Sep, 2018

本研究针对非凸函数的优化问题，通过分析其严格鞍点特性，提出了一种可有效优化的解法 —— 随机梯度下降法，并给出了其多项式迭代次数的局部最小值收敛保证以及应用于正交张量分解问题上的全局收敛保证。

Mar, 2015

本研究考虑学习一层隐藏层神经网络，通过高斯分布输入和低秩张量分解来优化非凸目标函数，利用随机梯度下降法可以证明收敛于全局最小值，并通过模拟实验证实。

Nov, 2017

该论文介绍了一种数学分析方法，针对鲁棒子空间恢复的非凸能量景观，证明了一个基于数据集固定条件的子空间是惟一的稳定点和一个特定范围内的局部极小值。研究还表明，如果该确定的条件满足，一种沿着 Grassmann 流形的测地线梯度下降方法可以在适当初始化的情况下完全恢复基础子空间。此外，当在一些数据模型上验证了它的实用性后，该方法可以在不同的样本大小和环境维度的不同情况下实现几乎最先进的恢复保证。

Jun, 2017

该研究通过对矩阵分解、张量分解和深度神经网络训练等问题的非凸优化问题的充分条件分析，提出了一种通用框架，能够在任意初始的情况下使用纯局部下降算法找到全局最小值，为深度神经网络的优化提供了理论支持和指导。

Jun, 2015

在本文中，我们提供了对有限样本情况下相位恢复的局部景观的精细分析，旨在确定在高维情况下保证围绕全局最小值的良好局部景观所需的最小样本量。

Nov, 2023

通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

Sep, 2015

我们研究了非凸和高维环境中梯度下降的优化动力学，重点研究了相位恢复问题作为复杂损失地形的案例研究。我们通过分析优化过程中局部曲率的变化，发现在下降的第一个阶段中，对于中等信噪比，Hessian 矩阵显示出朝向好的极小值的下降方向，然后被困在坏的极小值中。成功的相位恢复通过梯度下降在达到坏的极小值之前朝向好的极小值实现，这种机制解释了为什么在高维极限对应的算法过渡之前就能成功恢复。我们的分析揭示了这种新机制，在有限但非常大的维度下促进梯度下降动力学，同时强调了初始化谱特性对于在复杂高维地形中的优化的重要性。

Mar, 2024