可扩展的Spike-and-Slab

Apr, 2022

Scalable Spike-and-Slab

Niloy Biswas, Lester Mackey, Xiao-Li Meng

TL;DRScalable Spike-and-Slab is proposed as a Gibbs sampling implementation for high-dimensional Bayesian regression with a continuous spike-and-slab prior, resulting in significant computational efficiency improvements over existing implementations.

Abstract

Spike-and-slab priors are commonly used for bayesian variable selection, due to their interpretability and favorable statistical properties. However, existing samplers for spike-and-slab posteriors incur prohibitive computational costs when the number of variables is large. In this art

发现论文，激发创造

无监督特征学习的尖峰与板块稀疏编码

本文提出了一种基于spike-and-slab稀疏编码的因子模型，使用结构化变分推断和变分EM算法进行训练并得到与CIFAR-10和STL-10数据集上最先进的自学习和半监督学习表现,并赢得了NIPS 2011年挑战性学习分层模型转移学习竞赛的冠军。

Jan, 2012

基于随机梯度 Fisher 评分的贝叶斯后验抽样

本文介绍了一种基于Langevin方程和带随机梯度的算法来近似采样贝叶斯后验分布的方法，并通过引入贝叶斯中心极限定理扩展了该算法，使其在高混合比率时能够从后验的正态近似中采样，在慢混合比率时则模拟SGLD的行为，作为优化初始阶段的高效优化器。

Jun, 2012

基于粒子镜面下降的可证明贝叶斯推断

提出一种名为 Particle Mirror Descent 的算法，可以在处理复杂数据时应用于贝叶斯方法的后验密度概率估计。该算法具有可证明的鲁棒性，可在推断贝叶斯后验分布时用于大规模数据集中。

Jun, 2015

通过希尔伯特核心集实现自动可扩展的贝叶斯推断

该研究利用数据冗余缩小数据集作为预处理步骤，通过Bayesian coreset framework建立Hilbert coresets，即在对数似然函数空间的内积引导下构造的Bayesian coreset，提供具有理论保证的全自动可伸缩的Bayesian推断，从而提高了推断的质量，降低了计算成本。

Oct, 2017

使用后验自助法从多模式后验中进行可伸缩的非参数采样

本文提出了一种可扩展的贝叶斯非参数学习方法，通过优化适当随机化的目标函数实现后验抽样，一个未知数据分布的狄利克雷过程先验考虑到了模型建立错误，并允许具有尴尬并行事后自举算法的非参数后验分布的独立和精确的样本生成，从而特别擅长从多峰后验分布中抽样。

Feb, 2019

高维 logistic 回归的钉板变分贝叶斯

研究变分贝叶斯对于稀疏高维逻辑回归中广泛使用的贝叶斯模型选择先验的均场尖峰和板VB近似，该方法可以在L2和预测损失方面为稀疏的实际结果提供最佳收敛速率，并给出了有效的先验选择方法。

Oct, 2020

变量复杂度加权温和吉布斯采样器用于贝叶斯变量选择

本文提出了一种新的分组加权温度调整 Gibbs 采样器无需计算后验包含概率 (PIP) 以降低总的计算量，我们还提出了与之相关的 Rao-Blackwellized 估计器的方差上界，并通过实验表明，相对于现有的子集 wTGS 方法，我们的方法具有更小的方差。

Apr, 2023

神经网络后验的吉布斯采样

通过在神经网络各个节点引入噪声，作者提出一种新的概率模型，认为由此所得的 posterior distribution 可以用有效的 Gibbs sampler 来采样，并在实验中证明了该方法在真实数据和合成数据上都能取得类似于 Hamiltonian Monte Carlo 或 Metropolis adjusted Langevin algorithm 等蒙特卡罗马尔可夫链方法的性能；此外，通过教师-学生模型，作者提出了一种热化准则，并通过实验演示其有效性，该准则可以用来检测算法在合成标注数据上无法从 posterior distribution 中采样的情况。

Jun, 2023

贝叶斯Spike-and-Slab先验与高效核的方程探索

基于核学习和贝叶斯尖峰和板条先验的方程发现方法提供了一种有效的算法来解决数据稀疏性、噪声问题以及目前方法中存在的不确定性量化和训练成本高的限制性问题。

Oct, 2023

可扩展的贝叶斯学习与后验概率

通过引入易于扩展的PyTorch库posteriors，我们在理论上具有吸引力的贝叶斯学习与现代机器学习模型的计算挑战得以克服，从而使得贝叶斯学习在大规模数据和参数范围下变得可访问且可扩展；通过在posteriors实现中引入一种温度设定的随机梯度马尔可夫链蒙特卡洛方法，平稳过渡到优化，并揭示了深度集成的一种次要修改，以确保它们对贝叶斯后验具有渐进无偏性；通过包括对冷后验效应的研究和对大型语言模型的应用实验来展示和比较贝叶斯近似的实用性。

May, 2024