Feb, 2024

关于最小迹因子分析的研究 —— 一首换了调的老歌

PDF
TL;DR本文介绍了 Minimum Trace Factor Analysis（MTFA）的放松版本，该方法对于具有显著异方差噪声的数据不会过度拟合，并解决了因子分析中常见的 Heywood 案例以及现有光谱方法中最近发现的 “病态条件的诅咒”。我们提供了有关所得低秩子空间的准确性以及计算该矩阵的拟议算法的收敛速率的理论保证。同时，我们发展了与现有方法（包括 HeteroPCA，Lasso 和 Soft-Impute）之间的一些有趣联系，以填补已经很大的低秩矩阵估计文献中的重要缺口。通过数值实验证明了我们的结果与用于处理异方差噪声的几个最近的提议进行了基准对比。
发现论文，激发创造
  • 可验证的最优低秩因子分析

    本文提出了一种基于半定规划的非线性的秩受限因子分析问题的最优化表述方法，并使用目前最先进的非线性优化技术提高了计算可扩展性，同时展示了在真实数据集上提高的精度。

    Apr, 2016

  • 基于调优自由的最小体积非负矩阵分解研究

    用最小体积非负矩阵分解方法，不依赖噪声水平来可恢复秩缺失的矩阵，并通过无需调整的平方根 lasso 方法来选择调整参数值。

    Sep, 2023

  • 大规模基于梯度的因子分析混合模型训练

    通过随机梯度下降方法，本论文针对高维数据提出了一种高效的高维混合因子分析（MFA）模型训练方法，并利用 MFA 应用于图像数据集进行样本生成和异常检测。

    Aug, 2023

  • 低多秩高阶贝叶斯鲁棒张量分解

    提出一种名为低多秩高阶贝叶斯鲁棒张量分解 (LMH-BRTF) 的新型高阶 TRPCA 方法，在贝叶斯框架内对观测到的受损张量进行分解，结合了明确建模稀疏和噪声成分的优势，实现了对张量的多秩自动确定，并采用高效的变分推断算法进行参数估计，通过对合成和现实世界数据集的实证研究，在定性和定量结果方面证明了该方法的有效性。

    Nov, 2023

  • 从隐藏特征中学习：联合因子分析与潜在聚类

    本文提出了一种联合因子分析和潜在聚类的框架，旨在学习矩阵和张量数据的聚类感知低维表示。该方法利用矩阵和张量分解模型来揭示潜在聚类结构，并通过潜在聚类结构作为先验信息来提高因子分解的性能。

    May, 2016

  • 广义低秩模型

    本文将 PCA 技术扩展到处理包含数字、布尔、分类、有序等多种数据类型的任意数据集，提出了一种处理异构数据集的通用低秩模型，并为其提供了一些基于并行算法的实现。

    Oct, 2014

  • 公平主成分分析与滤波器设计

    本文探讨了公平主成分分析 (FPCA) 的问题，并且提出了使用次梯度下降来解决此问题的方法，该方案可以使优化结果更易于计算且结果更精确。

    Feb, 2020

  • 基于矩阵变量 $t$ 分布的鲁棒双线性因子分析

    提出了一种基于矩阵变量 $t$ 分布的双线性因子分析模型（$t$bfa），能够同时提取重尾或受污染的矩阵数据中行和列变量的共同因子，通过开发两种高效的 $t$bfa 最大似然估计算法，并导出用于计算参数估计精度的 Fisher 信息矩阵的闭式表达式，实证研究表明了 $t$bfa 模型的优越性和实用性，重要的是，$t$bfa 具有比 $t$fa 显著更高的破裂点，使其更适用于矩阵数据。

    Jan, 2024

  • 基于通货紧缩变量旋转因子分析的最优模型

    本文介绍了古董因子分析的一个重要类型 —— 主成分分析（PCA）和 varimax 旋转后的方差极大化旋转。通过将 PCA 与新的 deflation varimax 方法相结合，并使用一般类别的因子模型进行分析，我们发现它在中等或高信噪比条件下以最佳速率估计因子载荷矩阵，在低信噪比条件下当因子模型中的加性噪声具有结构时，改进的方法优于使用 PCA 和 deflation 程序。在有限样本条件下，理论有效且允许潜在因子的数量随样本量的增长而增长，同时允许环境维度随着样本量的增长甚至超过样本量。我们的理论结果得到了广泛的模拟和实际数据分析的验证。

    Oct, 2023

  • Mini-Hes: 一个可并行化的二阶潜在因子分析模型

    本文提出了一种使用 Mini-Hes 优化算法构建 LFA 模型的方法，通过分析 HDI 数据的 Hessian 矩阵，利用广义 Gauss-Newton 矩阵中的主对角块作为中介策略，弥合了一阶和二阶优化方法之间的差距，并在多个实际 HDI 数据集的缺失数据估计任务中证明了 Mini-Hes 使 LFA 模型超越了一些最先进的模型。

    Feb, 2024