钉子张量模型的景观
本文针对任意阶数的大型张量,从信息论和概率论角度出发,讨论了单峰(或秩一加噪声)模型下的主成分分析问题。并使用张量展开、幂迭代和信息传递等多项式时间估算算法分析了这一问题的可行性,阐述了张量幂迭代的初期化和运用附加侧信息推导良好估算的条件。
Nov, 2014
本文研究在一个稀疏极限下,当底层隐藏向量(构建排名为一的矩阵)非零组成部分数与向量总维数的比例为亚线性,信噪比以适当的速度趋于无穷大时,估计被加性高斯噪声矩阵污染的排名为一的矩阵的统计和计算限制,并证明了渐近互信息的显式低维变分公式,分析了稀疏状态下的近似消息传递算法。对于伯努利和伯努利 - 拉德马赫分布向量,当稀疏度和信号强度满足适当的比例关系时,我们发现渐近最小和算法均方误差的全有或全无相变。在渐近情况下,统计与算法之间的差距发散,表明近似消息传递对于稀疏恢复是非常困难的。
Jun, 2020
本研究旨在探究在高维线性回归模型的情况下,不了解回归参数稀疏性和设计分布对解释方差等因素的估计最小风险的影响,获得了在回归参数稀疏性不明确的情况下最小风险同时达到 logloss 的自适应程序,同时发现设计分布的了解对解释方差的估计至关重要。
Feb, 2016
研究了在包含噪声的观测中一直稀疏模式的一致估计问题,分析了 Lasso 去恢复稀疏模式的行为, 并根据高斯集合的相互不相关性条件建立了问题维数、非零元素数量和观测数之间的关系,并通过计算明确了阈值,确定了可靠恢复稀疏模式所需的观测数的下限和上限,从而解决了该问题。
May, 2006
研究了一个针对张量主成分分析问题的统计模型,通过基于四次幂和松弛的舍入算法,证明了随机噪声张量的种植向量可以在高概率下被回收,还证明了四次幂和松弛在一定程度下是不起作用的,研究并利用了额外的问题结构来求解我们的平方和松弛。
Jul, 2015
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
从非线性和含噪声观测中估计一个低秩矩阵的任务中,我们证明了一个强普适性结果,表明贝叶斯最优性能可由一个等效的高斯模型表示,其先验参数完全由非线性函数的展开所确定。特别地,我们展示了为了准确重建信号,需要一个随着 $ N^{rac 12 (1-1/k_F)}$ 增长的信噪比,其中 $k_F$ 是函数的第一个非零 Fisher 信息系数。我们提供了最小可实现均方误差(MMSE)的渐近特征及一个类似于问题的线性版本的条件下能达到 MMSE 的近似传递算法。我们还提供了方法如主成分分析与贝叶斯去噪等的渐近误差,并将其与贝叶斯最优 MMSE 进行了比较。
Mar, 2024
本文研究了在计算阈值附近的一般尖峰张量模型中,对种植的低秩信号进行估计的全面理解。通过使用大型随机矩阵理论中的标准工具,我们表征了数据张量的展开的大维谱特性,并展示了影响信号主要方向可检测性的相关信噪比。这些结果允许准确预测截断多线性奇异值分解(MLSVD)在非平凡区域中的重构性能。这对于更高阶正交迭代(HOOI)方案具有重要作用,其收敛到最佳低多线性秩近似完全取决于初始化。我们给出了 HOOI 收敛的充分条件,并表明在大维极限中收敛之前的迭代次数趋于 1。
Feb, 2024
本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下,基于平方和框架的线性模型学习算法,该算法的收敛速度与扰动的比例成幂率关系,能达到理论最优收敛速度且在先前研究中未被发现。
Jun, 2020
研究了检测结构化低秩信号矩阵被加性高斯噪声污染的问题,包括在高斯混合模型中的聚类, 稀疏主成分分析和子矩阵定位。通过将第一和第二时刻方法应用于这些 “种植模型” 和零模型之间的似然比来导出阈值的上下界,我们证明了在信号矩阵过于微弱时没有任何算法可以检测其信号。
Jul, 2016