可验证的最优低秩因子分析
本文介绍了 Minimum Trace Factor Analysis(MTFA)的放松版本,该方法对于具有显著异方差噪声的数据不会过度拟合,并解决了因子分析中常见的 Heywood 案例以及现有光谱方法中最近发现的 “病态条件的诅咒”。我们提供了有关所得低秩子空间的准确性以及计算该矩阵的拟议算法的收敛速率的理论保证。同时,我们发展了与现有方法(包括 HeteroPCA,Lasso 和 Soft-Impute)之间的一些有趣联系,以填补已经很大的低秩矩阵估计文献中的重要缺口。通过数值实验证明了我们的结果与用于处理异方差噪声的几个最近的提议进行了基准对比。
Feb, 2024
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。
Sep, 2015
本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
使用深度学习和因果推断,我们针对神经因果因子分析(NCFA)提出了一种完全非参数的因子分析方法,该方法不仅表现出与标准 VAEs 相当的数据重建能力,还具有更稀疏、更低复杂度和因果可解释性等优点,并且可以学习和推理关于观察数据潜在因素的因果关系。
May, 2023
本文研究了低秩优化问题中矩阵变量秩约束和低秩分解优化方法的自然联系,证明了低秩分解目标函数的所有二阶稳定点对应于原问题上投影梯度下降算法的不动点,并统一了现有的优化保证,为某些情况下特定的问题提供了新结果。最后,将结果应用于矩阵逆问题。
Dec, 2018
本文研究在具有强凸目标的低秩矩阵问题上使用投影梯度下降法。我们利用 Burer-Monteiro 分解方法隐式实现低秩性;这种分解方法引入了目标函数的非凸性。我们着重研究包括半正定(PSD)约束和特定矩阵范数约束在内的约束集。这些标准出现在量子态重构和相位恢复应用程序中。我们表明,非凸投影梯度下降在分解空间中偏爱局部线性收敛。我们通过一个新颖的下降引理建立我们的理论,该引理在不受限制的问题上最近的结果得到了非平凡的扩展。 这种算法称为投影因式梯度下降,简称 ProjFGD,并在量子状态重构和稀疏相位恢复应用程序方面表现出优异性能。
Jun, 2016
研究在 Frobenius-norm 意义下,将正半定对称矩阵近似为一个秩为一的矩阵,其特征向量的基数有一个上限的问题以及其在协方差矩阵分解到稀疏因子等领域中的应用,提出了一个基于半定规划的方法,并讲解了 Nesterov's 平滑最小化技术在直接稀疏 PCA 方法中的应用。
Jun, 2004
提出了一种基于对称半正定矩阵变量 X 进行定义的非线性凸程序的求解算法,该算法基于因数分解 X=YY^T,其中 Y 的列数确定 X 的秩。该因式分解唤起了将原问题重新表述为特定商流形上的优化的几何,并得出了二阶优化方法。此外,文章提供了一些关于分解秩的条件以确保与原始问题的等价性。该算法的效率在图的最大切割和稀疏主成分分析问题上得到了说明。
Jul, 2008