稀疏主成分分析的最优解
本研究提出了一种新的稀疏 PCA 方法,旨在找到稀疏和几乎不相关的主成分,并具有正交的载荷向量,同时尽可能多地解释总方差。我们还开发了一种新的增广 Lagrangian 方法来解决一类非光滑约束优化问题,该方法非常适合我们的稀疏 PCA 公式。最后,我们将我们的稀疏 PCA 方法与其他方法在合成数据,随机数据和真实数据上进行比较。计算结果表明,我们的方法产生的稀疏主成分在总方差,主成分相关性和载荷向量的正交性等方面显着优于其他方法。
Jul, 2009
本研究提出一种新的方法,通过将正交性条件重新表述为秩约束,并同时优化稀疏性和秩约束,使得稀疏主成分分析问题更易解决。通过设计合理的半定松弛和可行的二阶锥不等式,本文的方法在实际数据集中可以获得最优解,并且相比现有方法具有更好的性能。
Sep, 2022
本文研究了高维 PCA 问题,通过添加 $k$-sparse 最大特征向量来扰动协方差矩阵,并分析了两种可计算的最大特征向量恢复方法:一种是简单的对角线阈值法,另一种是复杂的半定规划 (SDP) 松弛法,研究结果突出高维推断中计算与统计效率的权衡。
Mar, 2008
通过将稀疏主成分分析重新制定为凸混合整数半定规划问题,并设计一个切平面方法,该方法可以以确切的最优性选择 5 个协变量从 300 个变量并能在更大范围内提供小的界限间隙。我们还提出了一种凸松弛和贪心舍入方案,可在几分钟内提供 1-2%的绑定间隙,使其成为规模上的可行替代方法。使用真实的金融和医疗数据集,我们展示了我们的方法在可解释性和易于计算的情况下,在不同范围内可行性的能力。
May, 2020
研究在 Frobenius-norm 意义下,将正半定对称矩阵近似为一个秩为一的矩阵,其特征向量的基数有一个上限的问题以及其在协方差矩阵分解到稀疏因子等领域中的应用,提出了一个基于半定规划的方法,并讲解了 Nesterov's 平滑最小化技术在直接稀疏 PCA 方法中的应用。
Jun, 2004
通过有限样本分析,我们提出了一个新的基于稀疏特征值统计量的极小化最佳检验方法,使用凸松弛的方法实现了有效性,并证明其接近于最优的检测水平。通过计算机模拟实验,我们证明了该方法在检测高维协方差矩阵的稀疏主成分方面的有效性。
Feb, 2012
通过研究计算复杂性理论,发现在满足一定限制的协方差集中条件下存在有效的样本大小范围,在此范围内无法有随机多项式时间算法达到最佳极小风险率;对著名的半定松弛估计方法的理论性能进行研究,揭示了统计效率和计算效率之间微妙的相互作用,此方法为多维数据稀疏主成分分析提供了一种解决方案。
Aug, 2014
本文提出了一个针对估算稀疏鲁棒一维子空间的优化框架,通过最小化表示误差和惩罚来实现 l1 - 范数准则的优化。基于线性松弛方法,该算法在计算时间上具有最坏情况下的 O (n^2 m log n) 时间复杂度,并在某些情况下实现了稀疏鲁棒子空间的全局最优解,因此具有多项式时间效率。与现有方法相比,该算法能够找到具有最低不一致性的子空间,同时提供了稀疏性和拟合度之间更平滑的权衡。它的架构具有可伸缩性,对于 2000x2000 矩阵,计算速度相比 CPU 版本提高了 16 倍。此外,该方法独立于初始化,具有确定性和可复制性的优点。通过实际应用示例,证明了该算法在实现有意义的稀疏性方面的有效性,并强调其在各个领域中的精确和有用的应用。
Feb, 2024
本文提出了一种新的稀疏主成分分析 (Sparse PCA) 方法,通过优化一个包含在紧致集合上的凸函数的最大化问题,使用一个简单的梯度方法,能够在数据矩阵具有比行更多的列 (变量) 时大幅度减少搜索空间的维度,并在随机和基因表达测试问题上展示了比现有算法更好的解决方案质量和计算速度。
Nov, 2008