对称秩一矩阵估计的互信息: 复制公式的证明
使用统计力学工具分析了矩阵分解问题的可实现性和计算可处理性,在贝叶斯最优推断设置下计算任意计算时间内可能实现的最小均方误差和有效近似迭代推理算法可以达到的误差。
Feb, 2014
本文提供了一种新的矩阵估算近似保证方法,其基于约束强凸性和平滑性的标准假设。同时,本文揭示了低秩估算和组合优化之间的新联系,并针对两个重要的现实问题提供了贪心估计与基准估计间的经验比较。
Mar, 2017
本文提出了基于置换秩的模型,可以避免传统基于非负秩模型的限制,并证明了该模型下的估计极小值等价于传统低秩模型,进而分析了一个基于奇异值阈值的有效算法,并展示了多样的结构结果来表征置换秩分解的唯一性和凸逼近。
Sep, 2017
提出了一种基于低阶多项式、半定规划和张量分解的高效贝叶斯估计问题的元算法,该算法的重点在于尽量紧密(达到添加低阶项的下限),并且通常可以达到统计阈值或猜测的计算阈值。在样本复杂度方面改善了社交网络检测和混合式社交网络模型的恢复保证,并且表明该任务可能需要指数时间。算法的基本策略是计算参数的后验分布的最佳低阶逼近,然后使用一个健壮的张量分解算法从这些近似的后验时刻中恢复参数。
Sep, 2017
低秩建模在信号处理和机器学习中扮演着关键的角色,本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法,其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。
Feb, 2018
本文研究在一个稀疏极限下,当底层隐藏向量(构建排名为一的矩阵)非零组成部分数与向量总维数的比例为亚线性,信噪比以适当的速度趋于无穷大时,估计被加性高斯噪声矩阵污染的排名为一的矩阵的统计和计算限制,并证明了渐近互信息的显式低维变分公式,分析了稀疏状态下的近似消息传递算法。对于伯努利和伯努利-拉德马赫分布向量,当稀疏度和信号强度满足适当的比例关系时,我们发现渐近最小和算法均方误差的全有或全无相变。在渐近情况下,统计与算法之间的差距发散,表明近似消息传递对于稀疏恢复是非常困难的。
Jun, 2020
介绍 Bayesian matrix decomposition 及其方法的目的、意义、起源和复杂性,包括 real-valued decomposition、nonnegative matrix factorization 和 Bayesian interpolative decomposition,数学预备知识为统计学和线性代数的初级课程,提供了严格的证明。
Feb, 2023
从非线性和含噪声观测中估计一个低秩矩阵的任务中,我们证明了一个强普适性结果,表明贝叶斯最优性能可由一个等效的高斯模型表示,其先验参数完全由非线性函数的展开所确定。特别地,我们展示了为了准确重建信号,需要一个随着$ N^{rac 12(1-1/k_F)}$增长的信噪比,其中$k_F$是函数的第一个非零Fisher信息系数。我们提供了最小可实现均方误差(MMSE)的渐近特征及一个类似于问题的线性版本的条件下能达到MMSE的近似传递算法。我们还提供了方法如主成分分析与贝叶斯去噪等的渐近误差,并将其与贝叶斯最优MMSE进行了比较。
Mar, 2024
本文主要研究了贝叶斯推断中结构化尖峰模型的一个典型问题:低秩信号被加性噪声所污染。通过使用统计物理和随机矩阵理论的工具,我们建立了从一个通用迹集合中绘制的噪声矩阵的信息理论限制的第一个表征,并通过启发自自适应 Thoulless-Anderson-Palmer(TAP)方程的理论的高效算法实现了这些限制。同时,我们揭示了旋转不变模型与一个替代的高斯模型之间的等效性。
May, 2024
本研究解决了从少量线性测量中重建低秩矩阵的问题,并填补了现有非凸方法样本复杂度与核范数最小化之间的差距。通过采用谱初始化的分解梯度下降,证明在样本数量与秩、维度和条件数相关联时,非凸方法可实现线性收敛速率,显著提升了之前的二次依赖关系。这一发现对非凸问题的研究具有重要潜在影响。
Aug, 2024