贝叶斯最优矩阵分解中的相变和样本复杂度
该论文研究如何采用严谨的方法证明低秩矩阵的对称秩一情况的互信息,进而表达最小均方误差和表征检测相位转变;同时介绍了一种被称为近似消息传递的迭代算法在贝叶斯最优条件下的优越性,并提出了通用的解决其他问题的方法。
Jun, 2016
本论文提出一种快速变分贝叶斯算法,用于实现非负矩阵分解和三因式分解,相对于Gibbs采样和非概率方法,我们的方法可以在每次迭代和时间步(挂钟时间)中实现更快的收敛,并且不需要额外的样本来估计后验,特别地,我们的变分贝叶斯方法提供了三因式分解的快速解决方案,从而更有效地利用该方法。
Oct, 2016
该研究考虑用贝叶斯矩阵分解法进行数据预测和模式发现,比较了不同推理方法在噪声和数据稀疏性下的收敛性和鲁棒性,并讨论了如何通过提出的贝叶斯自动相关性确定先验进行模型选择。
Jul, 2017
本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
本文提出了一种补偿广泛使用的凸估计器偏差的简单程序,从而实现了对噪声矩阵完成的不确定性和推断,并产生了近乎精确的非渐近分布表征,进而实现了对缺失条目和低秩因子的置信区间的最优构建。
Jun, 2019
介绍 Bayesian matrix decomposition 及其方法的目的、意义、起源和复杂性,包括 real-valued decomposition、nonnegative matrix factorization 和 Bayesian interpolative decomposition,数学预备知识为统计学和线性代数的初级课程,提供了严格的证明。
Feb, 2023
本文提出了一种用于高维稀疏因子模型的新贝叶斯推理方法,该方法允许推断因子维数和载荷矩阵的稀疏结构;介绍了一种特定的依赖关系,使得后验分布在保持计算可行性的同时自适应聚焦于正确的因子维度和载荷矩阵的稀疏水平;数值研究表明该方法表现优异。
May, 2023
本研究解决了从少量线性测量中重建低秩矩阵的问题,并填补了现有非凸方法样本复杂度与核范数最小化之间的差距。通过采用谱初始化的分解梯度下降,证明在样本数量与秩、维度和条件数相关联时,非凸方法可实现线性收敛速率,显著提升了之前的二次依赖关系。这一发现对非凸问题的研究具有重要潜在影响。
Aug, 2024
本研究解决了矩阵去噪中一个重要问题,即在隐藏信号不是旋转不变的情况下进行去噪。提出了一种基于贝叶斯的方法来分析具有因子结构的矩阵去噪,发现存在去噪-因子化转变,并提出在此转变后,通过利用信号的先验信息和因子化结构可以实现更好的去噪效果。这一发现对理解矩阵去噪的理论和算法具有重要影响。
Nov, 2024