广义张量估计的最优统计和计算框架
提出了一种基于梯度下降算法的非凸优化的低秩矩阵估计的统一框架,其通用性很强,可应用于噪声和无噪声观测,算法能够线性收敛到未知低秩矩阵的最小最优统计误差,同时也能够以线性速率收敛到未知低秩矩阵,并以最优样本复杂度实现精确恢复。
Oct, 2016
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。
Sep, 2015
该研究提出一种基于稀疏张量分解和阈值梯度下降的二阶段非凸实现框架,可从立方挖掘中进行稀疏和低秩张量估计,在无噪音情况下确保准确恢复,在带噪音情况下高概率稳定恢复,并导出了新的高阶浓度不等式对高阶交互追求在高维线性回归中的潜在应用进行了张量表述。
Jan, 2018
本文提出一种针对高维张量数据的估计和推断方法,通过假设数据遵循张量正态分布来简化精度矩阵的估计,使用交替迭代优化算法估计每个稀疏精度矩阵,并且提出一种去偏置统计推断方法来控制虚警率,实证结果证实了该方法在自闭症谱系障碍和广告点击分析等实际应用上的有效性,同时我们将其编码为一个名为 Tlasso 的公开的 R 包。
Sep, 2016
本文提出了一种在线低秩张量恢复的概括性框架,包括线性和广义线性模型,特别地,在线张量补全和在线二进制张量学习的应用中,通过在线黎曼梯度下降算法实现了线性收敛并在所有应用程序中恢复了低秩分量,还在在线张量回归方面进行了悔恨分析,通过数值结果验证了理论结论。
Jun, 2023
本文在凸优化框架中研究了鲁棒性低秩张量恢复问题,并提出了具有全局收敛保证的定制优化算法,包括交替方向增广 Lagrange 算法和加速近端梯度方法。作者还提出了一种非凸模型,并通过实际应用展示了鲁棒性低秩张量恢复的实用有效性。
Nov, 2013
提出三种方法用于从部分观察中估计多维数组(张量)的 Tucker 分解,这些方法都可以自动估计因子数(秩),并采用凸优化进行求解,其中采用的主要技术是迹范数正则化,还提出了简单的启发式方法以提高因子分解的可解释性。通过合成和真实数据集上的数值实验,证明了该方法比传统方法预测性能更准确、更快,更可靠。
Oct, 2010
本文探讨了低秩张量回归模型和高斯过程之间的有趣联系,证明了低秩张量回归模型本质上是学习高斯过程中的多线性核,并将低秩假设转化为约束贝叶斯推断问题。我们证明了神谕不等式,并为等效高斯过程模型推导了平均情况学习曲线。我们的研究发现低秩张量回归虽然在经验上非常成功,但高度依赖协方差函数的特征值和变量相关性。
Oct, 2017
低秩建模在信号处理和机器学习中扮演着关键的角色,本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法,其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。
Feb, 2018
本文提出了通过张量分解方法学习广义线性模型的混合模型参数的方法,通过对输入进行特征转换以及使用得分函数张量和响应变量的交叉相关计算可以得到正确的参数估计,且其计算和样本复杂度是输入和潜在维度的低阶多项式。
Dec, 2014