非凸统计优化:多项式时间下的极小极大稀疏PCA
本论文提出了一种基于协方差矩阵的稀疏主成分分析方法,采用半正定松弛和贪心算法求解,可以适用于诸如子集选择和稀疏恢复等领域,并能在人工和生物数据等实验数据中提供全局最优解。
Jul, 2007
本研究提出了一种新的稀疏PCA方法,旨在找到稀疏和几乎不相关的主成分,并具有正交的载荷向量,同时尽可能多地解释总方差。我们还开发了一种新的增广Lagrangian方法来解决一类非光滑约束优化问题,该方法非常适合我们的稀疏PCA公式。最后,我们将我们的稀疏PCA方法与其他方法在合成数据,随机数据和真实数据上进行比较。计算结果表明,我们的方法产生的稀疏主成分在总方差,主成分相关性和载荷向量的正交性等方面显着优于其他方法。
Jul, 2009
本文介绍了一种计算正半定矩阵的k-稀疏主成分的新算法,其通过查看低维度特征子空间中的一组离散特殊向量来实现。该算法的近似保证取决于其特征值分布,这使得其能够在多项式时间内对任意精度进行近似计算,同时几乎能够匹配或优于之前算法在所有测试数据集上的表现。
Mar, 2013
该论文回顾了现有的优化方法来解决鲁棒PCA及其变体。论文讨论了这些方法的优缺点和收敛性,并提出了一些面向多处理器环境下解决大规模问题的新算法框架的可能研究方向。
Jun, 2018
本文探讨了在存在随机噪声、大量离群点和缺失数据的情况下,通过凸规划方法提高低秩矩阵估计的理论保证。结果表明,当未知矩阵是很好条件的、不一致的和具有恒定秩时,通过凸规划实现了接近最优的统计精度。即使有近乎恒定的观测值被任意大小的离群值所污染,都可以获得令人满意的结果。
Jan, 2020
通过将稀疏主成分分析重新制定为凸混合整数半定规划问题,并设计一个切平面方法,该方法可以以确切的最优性选择5个协变量从300个变量并能在更大范围内提供小的界限间隙。我们还提出了一种凸松弛和贪心舍入方案,可在几分钟内提供1-2%的绑定间隙,使其成为规模上的可行替代方法。使用真实的金融和医疗数据集,我们展示了我们的方法在可解释性和易于计算的情况下,在不同范围内可行性的能力。
May, 2020
本研究提出一种新的方法,通过将正交性条件重新表述为秩约束,并同时优化稀疏性和秩约束,使得稀疏主成分分析问题更易解决。通过设计合理的半定松弛和可行的二阶锥不等式,本文的方法在实际数据集中可以获得最优解,并且相比现有方法具有更好的性能。
Sep, 2022
通过研究一种在尖峰维沙特模型下的主成分分析问题,我们揭示了信号中的结构通过一类子空间模型予以捕捉。在统计和计算统一的视角下,我们建立了依赖于问题实例几何结构的基本限制,并展示了一种自然的投影幂法在解的统计可接近最优邻域上表现出的局部收敛性。我们通过分析两个重要特例,即基于路径和树稀疏性的初始方法和匹配证据的计算难度,来补充这些结果。总体而言,我们的结果表明,多个针对普通稀疏主成分分析观察到的现象自然地扩展到其结构化对应物中。
Jul, 2023
在高维环境中,本研究针对协方差矩阵Σ的k维稀疏主子空间进行估计,提出了一种基于稀疏主成分分析的半定松弛估计方法,并在理论上证明了该方法在一定条件下具有支持恢复能力和收敛速率优势。
Dec, 2023
本文提出了一个针对估算稀疏鲁棒一维子空间的优化框架,通过最小化表示误差和惩罚来实现l1-范数准则的优化。基于线性松弛方法,该算法在计算时间上具有最坏情况下的O(n^2 m log n)时间复杂度,并在某些情况下实现了稀疏鲁棒子空间的全局最优解,因此具有多项式时间效率。与现有方法相比,该算法能够找到具有最低不一致性的子空间,同时提供了稀疏性和拟合度之间更平滑的权衡。它的架构具有可伸缩性,对于2000x2000矩阵,计算速度相比CPU版本提高了16倍。此外,该方法独立于初始化,具有确定性和可复制性的优点。通过实际应用示例,证明了该算法在实现有意义的稀疏性方面的有效性,并强调其在各个领域中的精确和有用的应用。
Feb, 2024