本文提出一种新的简单的基于凸松弛的方法,并通过模拟实验证明其在低秩张量恢复方面性能更好,这有可能通过同时利用多种结构来降低样本复杂度。
Jul, 2013
本文针对任意阶数的大型张量,从信息论和概率论角度出发,讨论了单峰(或秩一加噪声)模型下的主成分分析问题。并使用张量展开、幂迭代和信息传递等多项式时间估算算法分析了这一问题的可行性,阐述了张量幂迭代的初期化和运用附加侧信息推导良好估算的条件。
Nov, 2014
该论文提出了一种基于六阶 sum-of-squares 层次结构的多维张量补全算法,其在观察到 $n^{3/2} r$ 个条目时能够在多项式时间内完成补全,并且该算法具有通用性,可以处理维度 $r > n$ 的张量补全问题。
Jan, 2015
研究了一个针对张量主成分分析问题的统计模型,通过基于四次幂和松弛的舍入算法,证明了随机噪声张量的种植向量可以在高概率下被回收,还证明了四次幂和松弛在一定程度下是不起作用的,研究并利用了额外的问题结构来求解我们的平方和松弛。
Jul, 2015
我们提出了一个两阶段的非凸算法,用于从高度不完整和随机损坏的观测值中重建低秩张量,并在几乎线性时间内恢复所有单个张量因子,同时享受接近最优的统计保证,我们还讨论了如何扩展我们的方法以适应非对称张量。
Nov, 2019
研究噪声张量完成中的非凸优化分布和不确定性,利用Cai等人(2019)提出的两阶段估计算法,表征了这种非凸估计器的分布,进一步构建了有效的和简短的置信区间,揭示了非凸张量完成的统计最优性。
Jun, 2020
本文研究了过度参数化张量分解问题上的梯度流训练动态。通过证明,在正交可分解的张量情况下,略微修改的梯度流会遵循张量缩减过程,并恢复所有张量分量。我们的证明表明,对于正交张量,梯度流动态的工作方式类似于矩阵情况下的贪心低秩学习,这是了解超参数模型对低秩张量的隐含正则化效应的第一步。
Jun, 2021
研究在大矩阵中包含低秩对称尖峰的加性高斯噪声时, 使用通缩算法估算的精确特性,即多个秩-1逼近所得向量的对齐和其权重的估计,可用于设计更有效的信号估计方法。
Apr, 2023
本文研究了在计算阈值附近的一般尖峰张量模型中,对种植的低秩信号进行估计的全面理解。通过使用大型随机矩阵理论中的标准工具,我们表征了数据张量的展开的大维谱特性,并展示了影响信号主要方向可检测性的相关信噪比。这些结果允许准确预测截断多线性奇异值分解(MLSVD)在非平凡区域中的重构性能。这对于更高阶正交迭代(HOOI)方案具有重要作用,其收敛到最佳低多线性秩近似完全取决于初始化。我们给出了HOOI收敛的充分条件,并表明在大维极限中收敛之前的迭代次数趋于1。
Feb, 2024
该论文研究了基于 tensor train (TT) 的张量回归模型的理论和算法方面。通过假设回归算子满足受限等距性质 (RIP),分析了受限最小二乘优化问题的解的误差界限,并提出了两种优化算法:迭代硬阈值 (IHT) 算法和基于 Riemannian 梯度下降 (RGD) 算法的分解方法。在 RIP 成立的条件下,采用谱初始化可以实现适当的初始化,同时证明了 IHT 和 RGD 的线性收敛速度。
Jun, 2024