拟合多层因子模型
本文提出了一种通用的在线版本Expectation-Maximisation算法,适用于独立观测的隐变量模型,可以更直接地将模型分布与观测的边际分布联系起来,而无需进行完整数据分布的积分,实现了一定的简化和加快收敛的效果,并且还适用于条件模型,例如本文所举出的线性回归模型的混合模型。
Dec, 2007
本文提出了 MahNMF 方法以及5种扩展,用于处理非负矩阵。利用两种算法,即秩一残留迭代(RRI)方法和Nesterov的平滑方法,有效地优化了MahNMF和其扩展。MahNMF方法在处理重尾部的拉普拉斯噪声时,能够很好地拟合数据,是一种鲁棒性较强的方法。
Jul, 2012
本研究提出了一种基于牛顿法的新型算法,用于解决优化问题,该问题是一个正则化的对数行列式程序,能够从非常有限的样本中恢复稀疏逆协方差矩阵,或者是高斯马尔科夫随机场的基础图结构,并通过合成和真实的应用数据实验结果表明,与其他最先进的方法相比,我们的方法在性能上有了显着的改进。
Jun, 2013
本文提出了一种新的低秩矩阵分解模型,假设噪声为指数幂混合分布,融合了惩罚似然方法和指数幂分布的 Penalized MoEP(PMoEP)模型。通过利用局部噪声分量的连续性,我们将马尔可夫随机场嵌入 PMoEP 模型,并进一步提出了先进的 PMoEP-MRF 模型,用于推断涉及建议的参数。在合成数据、面部建模、高光谱图像恢复和背景减除方面的大量实验表明了我们方法的优越性。
Jan, 2016
本文研究了从观察数据中学习线性结构方程模型(SEMs)的算法问题,旨在实现计算和统计效率,解决较一般的识别问题并没有考虑“信仰”假设的情形,提供了一个高效的算法,能够在不同噪声分布的情况下恢复SEM的有向无环图结构。
Jul, 2017
LMLFM是第一个考虑数据的复杂相关性和非线性交互作用,可以从长期数据中学习预测模型并选择最具预测性的固定效应和随机效应的多层因子机。在模拟和实际应用中,LMLFM在预测准确性、变量选择和规模上均优于现有方法。
Nov, 2019
本文研究了多层低秩(MLR)矩阵,通过对一系列矩阵进行行列重排并分解成块对角形式,以低秩的因子形式表示。研究主要围绕通过在Frobenius范数下使用MLR矩阵拟合给定矩阵的问题展开,并提出了因子拟合、秩分配以及层次化行列划分等解决方法。同时,附带开源软件包实现了所提出的方法。
Oct, 2023
通过从观测数据中恢复有向无环图(DAG)结构来发现因果关系是一个众所周知的挑战性组合问题。本文首先提出了一种基于观测数据协方差矩阵的Cholesky分解的DAG结构恢复算法,该算法快速易实现且具有精确恢复的理论保证。在合成和真实数据集上,该算法比先前的方法明显更快,并达到了最先进的性能。此外,在等误差方差假设下,我们将优化过程纳入基于Cholesky分解的算法中以处理带有潜在变量的DAG恢复问题。数值模拟表明,修改后的“Cholesky + 优化”算法能够在大多数情况下恢复出真实图,并且优于现有算法。
Nov, 2023
本文介绍了Minimum Trace Factor Analysis(MTFA)的放松版本,该方法对于具有显著异方差噪声的数据不会过度拟合,并解决了因子分析中常见的Heywood案例以及现有光谱方法中最近发现的“病态条件的诅咒”。我们提供了有关所得低秩子空间的准确性以及计算该矩阵的拟议算法的收敛速率的理论保证。同时,我们发展了与现有方法(包括HeteroPCA,Lasso 和Soft-Impute)之间的一些有趣联系,以填补已经很大的低秩矩阵估计文献中的重要缺口。通过数值实验证明了我们的结果与用于处理异方差噪声的几个最近的提议进行了基准对比。
Feb, 2024