本文研究了一种新的学习方法 —— 结构稀疏学习，它是统计学习和压缩感知标准稀疏概念的自然扩展，通过允许特征集合上的任意结构，该概念推广了近年来流行的组稀疏思想。文中提出了一种基于结构编码复杂度的学习结构稀疏的通用理论。如果目标信号的编码复杂度小，则可以通过使用编码复杂度正则化方法，实现更好的性能；此外，文中还提出了一种结构贪婪算法，该算法在适当条件下近似解决了编码复杂度优化问题，通过实验展示了结构稀疏在一些实际应用中优于标准稀疏的优势。

Mar, 2009

本研究提出了一种新的稀疏 PCA 方法，旨在找到稀疏和几乎不相关的主成分，并具有正交的载荷向量，同时尽可能多地解释总方差。我们还开发了一种新的增广 Lagrangian 方法来解决一类非光滑约束优化问题，该方法非常适合我们的稀疏 PCA 公式。最后，我们将我们的稀疏 PCA 方法与其他方法在合成数据，随机数据和真实数据上进行比较。计算结果表明，我们的方法产生的稀疏主成分在总方差，主成分相关性和载荷向量的正交性等方面显着优于其他方法。

Jul, 2009

本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

Sep, 2011

通过研究一种在尖峰维沙特模型下的主成分分析问题，我们揭示了信号中的结构通过一类子空间模型予以捕捉。在统计和计算统一的视角下，我们建立了依赖于问题实例几何结构的基本限制，并展示了一种自然的投影幂法在解的统计可接近最优邻域上表现出的局部收敛性。我们通过分析两个重要特例，即基于路径和树稀疏性的初始方法和匹配证据的计算难度，来补充这些结果。总体而言，我们的结果表明，多个针对普通稀疏主成分分析观察到的现象自然地扩展到其结构化对应物中。

Jul, 2023

本文介绍了一种快速的块升算法来实现稀疏主成分分析，该方法可以更好地解决特征数量很多的数据集的问题，并使用亿万级文档和成千上万个特征的文本语料库的实验结果证明了 Sparse PCA 对于组织大量文本数据具有很好的效果。

Oct, 2012

本研究提出一种新的方法，通过将正交性条件重新表述为秩约束，并同时优化稀疏性和秩约束，使得稀疏主成分分析问题更易解决。通过设计合理的半定松弛和可行的二阶锥不等式，本文的方法在实际数据集中可以获得最优解，并且相比现有方法具有更好的性能。

Sep, 2022

使用稀疏 PCA 算法，选择最大方差的坐标子集，估计特征向量并在原始基础上重新表达，在适当的稀疏性假设下，实现一元模型的一致性估计。

Jan, 2009

本文讨论了两种概率稀疏主成分分析模型：钉住 Wigner 模型和钉住 Wishart 模型，并分析了一个用于估计基本信号的近似信息传递 (AMP) 算法。在高维极限下，AMP 估计是信息理论上的最优。此外，本文提供了稀疏 PCA 问题的单字母特征。

Feb, 2014

提出了一种新的监督表示学习框架，即结构化概率编码（SPC），用于从与目标任务相关的输入中学习紧凑且信息丰富的表示。SPC 可以提高预先训练语言模型的泛化能力以实现更好的语言理解。通过在高斯分布空间中编码隐藏表示，并同时最大化与标签空间相关的潜在表示的先验熵，SPC 可以在一个模块中进行信息编码和任务预测，充分利用输入数据的有效信息并减少随机性和不确定性。结构化正则化促进了概率分布的控制，以保持潜在代码的高斯分布结构，并更好地将隐空间覆盖类别均匀。实验证明，SPC 可以提高预先训练语言模型的性能，适用于各种分类和回归任务，并增强了输出表示的泛化能力、标签噪声鲁棒性和聚类质量。

Dec, 2023

本论文提出了一种基于协方差矩阵的稀疏主成分分析方法，采用半正定松弛和贪心算法求解，可以适用于诸如子集选择和稀疏恢复等领域，并能在人工和生物数据等实验数据中提供全局最优解。

Jul, 2007