基于随机梯度 MCMC 的大规模分布式贝叶斯矩阵分解
本篇论文提出了一种分布式高性能并行的 Bayesian Probabilistic Matrix Factorization (BPMF)算法实现方案,并使用了在单节点上的高效负载均衡使用工作窃取和在分布式版本中使用异步通信的方法,超越了现有技术水平。
May, 2017
本文提出了一种可靠性高、计算效率高的分布式 MCMC 算法来处理分布式数据集,该算法在高维环境下证明具有可伸缩性,并通过合成和真实数据的实验验证了方法的重要性。
Jun, 2021
本文提出了一种基于随机梯度马尔科夫链蒙特卡罗算法的用于混合成员随机块模型中可扩展推理的方法。该算法利用了随机梯度黎曼 Langevin 采样器,每次迭代都能实现更快的速度和更高的精度,比基于随机变分推理的当前最先进算法更优,同时我们还开发了一种适用于处理大量社区的近似方法。实验结果表明,SG-MCMC 在所有情况下均优于竞争算法。
Oct, 2015
提出了一种简单的算法来实现可证明偏差私有性以及良好性能的差异性私人协作过滤。通过差分隐私和贝叶斯后验采样的新型连接方式,该算法可有效实现。同时,通过精细的系统设计和利用数据的幂律行为最大化 CPU 缓存带宽,我们可以在单个 PC 上以 8.5 百万每秒的速率生成 1024 维模型实现推荐。
May, 2015
本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗(SGMCMC)的可扩展蒙特卡罗算法,其利用数据子抽样技术降低了 MCMC 的迭代成本,并比较了其效率与 MCMC 在基准示例上的异同。
Jul, 2019
用一种新的非参数泛化逼近方法代替 VI,包含了一种 Langevin-type 算法,其中一部分潜变量是从 Markov 链的早期样本中平均的,以控制地打破统计相关性,从而使链更快混合。通过在 ResNet-20 上对 CIFAR-10,SVHN 和 FMNIST 进行测试,我们发现与 SG-MCMC 和 VI 相比,在收敛速度和 / 或最终准确性方面都有所提高。
Jul, 2021
使用贝叶斯神经网络和变分推断构建的概率神经网络矩阵因子分解模型能够获得与常规神经网络变体相当的预测性能,这一概率方法在处理随机块模型时非常重要,同时还提出了一个非参数块结构的神经网络矩阵分解模型的变分推断算法,并在 NIPS 合著数据集上评估了其性能。
May, 2019
本文提出了一种将概率应用于不完整的数据库中的方法,使用 Markov chain Monte Carlo(MCMC)来恢复不确定性,提供对任意图形模型和关系代数公式的高效查询,并演示了与 materialized view 维护技术之间的联系。
May, 2010
开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法,通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战,进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。
Jun, 2017
本文介绍了一种基于 Langevin 方程和带随机梯度的算法来近似采样贝叶斯后验分布的方法,并通过引入贝叶斯中心极限定理扩展了该算法,使其在高混合比率时能够从后验的正态近似中采样,在慢混合比率时则模拟 SGLD 的行为,作为优化初始阶段的高效优化器。
Jun, 2012