Oct, 2023

基于通货紧缩变量旋转因子分析的最优模型

PDF
TL;DR本文介绍了古董因子分析的一个重要类型 —— 主成分分析（PCA）和 varimax 旋转后的方差极大化旋转。通过将 PCA 与新的 deflation varimax 方法相结合，并使用一般类别的因子模型进行分析，我们发现它在中等或高信噪比条件下以最佳速率估计因子载荷矩阵，在低信噪比条件下当因子模型中的加性噪声具有结构时，改进的方法优于使用 PCA 和 deflation 程序。在有限样本条件下，理论有效且允许潜在因子的数量随样本量的增长而增长，同时允许环境维度随着样本量的增长甚至超过样本量。我们的理论结果得到了广泛的模拟和实际数据分析的验证。
发现论文，激发创造
  • 关于最小迹因子分析的研究 —— 一首换了调的老歌

    本文介绍了 Minimum Trace Factor Analysis（MTFA）的放松版本，该方法对于具有显著异方差噪声的数据不会过度拟合，并解决了因子分析中常见的 Heywood 案例以及现有光谱方法中最近发现的 “病态条件的诅咒”。我们提供了有关所得低秩子空间的准确性以及计算该矩阵的拟议算法的收敛速率的理论保证。同时，我们发展了与现有方法（包括 HeteroPCA，Lasso 和 Soft-Impute）之间的一些有趣联系，以填补已经很大的低秩矩阵估计文献中的重要缺口。通过数值实验证明了我们的结果与用于处理异方差噪声的几个最近的提议进行了基准对比。

    Feb, 2024

  • 加权主成分分析：一种加权协方差特征值分解方法

    提出一种新的基于加权方差协方差矩阵的双谱分解方法，旨在在具有加权和 / 或缺失数据问题的情况下，检索给定数量的正交主成分，该方法通过将主成分拟合到数据并进行分解，从而检索主系数。通过在实际情况和模拟情况下进行测试，结果表明该方法能够在数据集中识别最显著的模式，并且可以使用此方法将 Sloan Digital Sky Survey 类星体光谱从测量波长外推至更短和更长波长。同时该算法的实现速度快且灵活。

    Dec, 2014

  • 可验证的最优低秩因子分析

    本文提出了一种基于半定规划的非线性的秩受限因子分析问题的最优化表述方法，并使用目前最先进的非线性优化技术提高了计算可扩展性，同时展示了在真实数据集上提高的精度。

    Apr, 2016

  • 广义低秩模型

    本文将 PCA 技术扩展到处理包含数字、布尔、分类、有序等多种数据类型的任意数据集，提出了一种处理异构数据集的通用低秩模型，并为其提供了一些基于并行算法的实现。

    Oct, 2014

  • 稀疏主成分分析

    使用稀疏 PCA 算法，选择最大方差的坐标子集，估计特征向量并在原始基础上重新表达，在适当的稀疏性假设下，实现一元模型的一致性估计。

    Jan, 2009

  • 高维回归分析中的因子模型和变量选择

    本文提出了一种因子方法来同时考虑模型选择和功能回归的视角，通过将预测向量分解为反映解释变量的共同因素和特定变异性的两个不相关随机分量，以包括主成分作为额外的解释变量在增广回归模型中，维度高于样本大小的线性回归问题中传统假设的稀疏向量参数是具有限制性的，模型选择程序可以用于估计增广模型的参数，并得出其理论性质和有限样本表现。

    Feb, 2012

  • 群体因子分析

    通过变分推断较之前更灵活地将模态多样性因子分析模型扩展到可以描述变量集合之间的关系，利用两级层次结构模型来解决组因素分析问题，且表现出更好的表现力和适用性。

    Nov, 2014

  • 剩余分量分析：在线性高斯模型中推广 PCA 以获得更灵活的推断能力

    本文提出了一种新的基于残差方差的概率主成分分析 (PPCA) 模型 —— 残差成分分析 (RCA)，并探讨了由此框架产生的新算法，其中包括将高斯密度的协方差分解为低秩与稀疏逆两个部分的算法。作者在蛋白质信号网络恢复，基因表达时间序列数据集分析以及基于三维点云数据恢复人类骨架方面阐述了该模型的应用。

    Jun, 2012

  • 通过离群值追踪实现鲁棒的 PCA

    该文介绍了一种名为 Outlier Pursuit 的基于凸优化的算法，该算法使用矩阵分解来恢复未损坏矩阵的正确列空间，并确定损坏的点。此算法在基因组学和金融应用中具有重要意义。

    Oct, 2010

  • 用主成分分析估计数据的内在维度

    本文介绍了一种基于 PCA 的新方法，用于估计具有非线性结构的数据的内在维数，该方法利用整个数据集估计其内在维数，并方便增量学习。该方法使用数据的最小覆盖来处理数据集的非线性结构，并通过检查所有小邻域区域的数据方差来确定估计结果。实验结果表明，该方法可以过滤数据中的噪声，并在邻域区域大小增加时收敛到稳定的估计值。

    Feb, 2010