贝叶斯非负矩阵分解推断方法的比较研究
我们提出了一种混合算法,将collapsed Gibbs采样和variational Bayesian推断相结合,取得了显著的测试集困惑度改善,同时不增加计算成本。
Jun, 2012
使用统计力学工具分析了矩阵分解问题的可实现性和计算可处理性,在贝叶斯最优推断设置下计算任意计算时间内可能实现的最小均方误差和有效近似迭代推理算法可以达到的误差。
Feb, 2014
本文从贝塔过程的角度,推导了一种针对具有Poisson分布似然函数的非负矩阵分解(NMF)模型的结构均场变分推理算法,并利用最近开发的随机结构均场变分推理方法来恢复潜在变量之间的依赖关系,并在合成和真实数据上进行了初步的实验验证。
Nov, 2014
研究使用SVI在稀疏潜在因子模型(尤其是BPFA)中的性能,发现使用Gibbs采样维护特定后验依赖关系非常有效,但在BPFA中不同的后验依赖关系与LDA不同,并且模拟内局部变量依赖性的近似方法表现最佳。
Jun, 2015
本论文提出一种快速变分贝叶斯算法,用于实现非负矩阵分解和三因式分解,相对于Gibbs采样和非概率方法,我们的方法可以在每次迭代和时间步(挂钟时间)中实现更快的收敛,并且不需要额外的样本来估计后验,特别地,我们的变分贝叶斯方法提供了三因式分解的快速解决方案,从而更有效地利用该方法。
Oct, 2016
提出了一种新的算法Boosting Variational Inference(BVI),它基于渐进的计算,能够捕捉多模态、一般后验协方差和非标准后面形状,并且使用一个更灵活的逼近族,包括所有可能的有限混合一个参数基础分布(例如高斯)。
Nov, 2016
介绍了一种概率生成模型——OrMachine,用于布尔矩阵分解和推导出马尔科夫链蒙特卡罗(Metropolised Gibbs)采样器,实现了高效的并行后验推断,并在真实世界和模拟数据上优于目前所有现有的布尔矩阵分解和完整方法,首次为布尔矩阵分解提供了完整的后验推断,在协同过滤中用于控制假阳性率,并关键地提高了推断模式的可解释性。提出的算法在通用硬件上扩展到大型数据集,如在1.3百万只老鼠脑细胞上分析11千个基因的单细胞基因表达。
Feb, 2017
本文提出了一种针对二元数据矩阵的基于贝叶斯平均参数非负矩阵分解的方法,并使用折叠吉布斯采样和折叠变分算法推断了因子的后验分布,同时将所提出方法拓展到非参数设置下,实现自动检测相关成分数量,实验证明该方法在词典学习和预测任务方面的性能优于现有技术。
Dec, 2018
使用贝叶斯神经网络和变分推断构建的概率神经网络矩阵因子分解模型能够获得与常规神经网络变体相当的预测性能,这一概率方法在处理随机块模型时非常重要,同时还提出了一个非参数块结构的神经网络矩阵分解模型的变分推断算法,并在 NIPS 合著数据集上评估了其性能。
May, 2019
介绍 Bayesian matrix decomposition 及其方法的目的、意义、起源和复杂性,包括 real-valued decomposition、nonnegative matrix factorization 和 Bayesian interpolative decomposition,数学预备知识为统计学和线性代数的初级课程,提供了严格的证明。
Feb, 2023