通过对高阶张量维度的大规模研究和分析,本文介绍了在存在噪声的情况下 Hotelling 型张量降维方法的渐近研究,针对低秩不对称张量模型进行了分析,并构建了估计信噪比和估计信号分量对齐的估计器。
Oct, 2023
本文研究了过度参数化张量分解问题上的梯度流训练动态。通过证明,在正交可分解的张量情况下,略微修改的梯度流会遵循张量缩减过程,并恢复所有张量分量。我们的证明表明,对于正交张量,梯度流动态的工作方式类似于矩阵情况下的贪心低秩学习,这是了解超参数模型对低秩张量的隐含正则化效应的第一步。
Jun, 2021
本文研究了在计算阈值附近的一般尖峰张量模型中,对种植的低秩信号进行估计的全面理解。通过使用大型随机矩阵理论中的标准工具,我们表征了数据张量的展开的大维谱特性,并展示了影响信号主要方向可检测性的相关信噪比。这些结果允许准确预测截断多线性奇异值分解(MLSVD)在非平凡区域中的重构性能。这对于更高阶正交迭代(HOOI)方案具有重要作用,其收敛到最佳低多线性秩近似完全取决于初始化。我们给出了 HOOI 收敛的充分条件,并表明在大维极限中收敛之前的迭代次数趋于 1。
Feb, 2024
该研究提出一种基于稀疏张量分解和阈值梯度下降的二阶段非凸实现框架,可从立方挖掘中进行稀疏和低秩张量估计,在无噪音情况下确保准确恢复,在带噪音情况下高概率稳定恢复,并导出了新的高阶浓度不等式对高阶交互追求在高维线性回归中的潜在应用进行了张量表述。
Jan, 2018
我们提出了一个两阶段的非凸算法,用于从高度不完整和随机损坏的观测值中重建低秩张量,并在几乎线性时间内恢复所有单个张量因子,同时享受接近最优的统计保证,我们还讨论了如何扩展我们的方法以适应非对称张量。
Nov, 2019
本文研究在一个稀疏极限下,当底层隐藏向量(构建排名为一的矩阵)非零组成部分数与向量总维数的比例为亚线性,信噪比以适当的速度趋于无穷大时,估计被加性高斯噪声矩阵污染的排名为一的矩阵的统计和计算限制,并证明了渐近互信息的显式低维变分公式,分析了稀疏状态下的近似消息传递算法。对于伯努利和伯努利 - 拉德马赫分布向量,当稀疏度和信号强度满足适当的比例关系时,我们发现渐近最小和算法均方误差的全有或全无相变。在渐近情况下,统计与算法之间的差距发散,表明近似消息传递对于稀疏恢复是非常困难的。
Jun, 2020
通过平滑分析模型,本文提出了一种针对高度过完备情况(秩多项式于该张量维度)的张量分解的有效算法,且该算法具有鲁棒性,即使输入存在逆多项式误差,其表现依然可靠。该算法的线性独立性结果为我们在学习过程中应用张量方法提供了方便,为多视图模型和轴向高斯混合等学习问题的研究提供了更多的组件维度。
Nov, 2013
本文研究高维情况下的稀疏尖峰协方差矩阵模型,探讨了协方差矩阵和主子空间的极小极大估计以及极小极大排名检测。在估算尖峰协方差矩阵的最优收敛速率下建立了基于谱范数的优化, 并且还建立了在谱范数下估计主子空间的最小值率,也获取了最优排名检测边界的速率。
May, 2013
本文提出了一种嵌套的矩阵张量模型,用于解决具有多视角的聚类问题,并在理论上证明该模型的最佳秩一张量逼近方法具有更好的精度。
May, 2023
本研究考虑估计具有高秩的张量,提出了似然度最大化估计的方法并分析了优化算法的失败原因。
Nov, 2017