张量PCA的幂迭代算法的精确分析
本文针对任意阶数的大型张量,从信息论和概率论角度出发,讨论了单峰(或秩一加噪声)模型下的主成分分析问题。并使用张量展开、幂迭代和信息传递等多项式时间估算算法分析了这一问题的可行性,阐述了张量幂迭代的初期化和运用附加侧信息推导良好估算的条件。
Nov, 2014
本文提出了一种新颖的张量幂迭代动力学分析,适用于张量 CP 分解在超完备情况下的情形,并应用该分析扩展了可以使用谱方法的潜变量模型的类,同时考虑了输入张量中的噪声。
Nov, 2014
研究了一个针对张量主成分分析问题的统计模型,通过基于四次幂和松弛的舍入算法,证明了随机噪声张量的种植向量可以在高概率下被回收,还证明了四次幂和松弛在一定程度下是不起作用的,研究并利用了额外的问题结构来求解我们的平方和松弛。
Jul, 2015
本文提出一种新的非凸迭代算法,可以将张量分解为低秩部分和稀疏部分,在低秩CP分解和残差的硬阈值处理之间交替进行,可处理具有一个更高程度扰动的稀疏张量,应用于视频中的活动检测任务。
Oct, 2015
矩阵的高维拓展——张量(tensor)已在信号处理、数据挖掘和机器学习等领域得到广泛应用,本文旨在为那些想要了解和深入研究张量的研究人员和从业人员提供起点,它包括了基础与应用,如张量秩和分解、基本的张量分解模型及其关系和性质、性能分析、以及一系列的应用。
Jul, 2016
我们提出了一种简单的变种Power Iteration方法,使用动量项,既实现了最优的PCA速率和迭代复杂度,也适用于随机数据集,并利用现代方差缩减技术,加速了很多非凸优化问题。
Jul, 2017
本文提出一种新的张量幂法来分解任意阶张量,克服了现有方法的局限性,应用草图方法能够在幂次p和维数n的张量上实现运行时间的O ~(n ^ p-1)~ 。
Jun, 2023
本文提出了一种新的方法,通过改进张量采样策略和引入张量QR分解来加速张量完成,以更快地进行网络延迟估计,同时保持高准确性。我们使用张量$L_{2,1}$-范数来完成不完整的张量并将张量QR分解引入到ADMM框架中。数值实验表明,我们的方法比现有算法更快,准确性令人满意。
Jun, 2023
本文研究了在计算阈值附近的一般尖峰张量模型中,对种植的低秩信号进行估计的全面理解。通过使用大型随机矩阵理论中的标准工具,我们表征了数据张量的展开的大维谱特性,并展示了影响信号主要方向可检测性的相关信噪比。这些结果允许准确预测截断多线性奇异值分解(MLSVD)在非平凡区域中的重构性能。这对于更高阶正交迭代(HOOI)方案具有重要作用,其收敛到最佳低多线性秩近似完全取决于初始化。我们给出了HOOI收敛的充分条件,并表明在大维极限中收敛之前的迭代次数趋于1。
Feb, 2024
本文研究了在高维模式下,两个局部优化算法(在线随机梯度下降(SGD)和梯度流)在多尖峰张量模型中的动态特性。研究指出,通过合适的样本数量和信噪比条件,这些算法能够有效恢复未知的信号向量,其中在线SGD实现所有尖峰的精确恢复,而对于梯度流,恢复后续方向所需的样本数量则更高。此研究为张量主成分分析领域提供了重要的理论基础。
Aug, 2024