变量复杂度加权温和吉布斯采样器用于贝叶斯变量选择
介绍了一种确定性算法 herded Gibbs,特别适用于独立变量模型和完全连接概率图模型。实验证明 herded Gibbs 在图像去噪任务和命名实体识别任务中优于 Gibbs。
Jan, 2013
本研究旨在提高在处理大数据集时的贝叶斯后验MCMC采样的效率,通过引入基于连续假设检验的近似MH规则,根据部分数据即可高置信度地接受或拒绝样本,从而减少计算代价,同时控制引入的渐近偏差使方差下降得以更快。
Apr, 2013
本文研究高维贝叶斯线性回归的计算复杂度,介绍了一种截尾稀疏先验变量选择方法,通过Metropolis-Hastings算法,保证了变量选择的一致性和快速混合。
May, 2015
本文提出了一个新算法TruVaR,它统一处理了基于高斯过程的贝叶斯优化(BO)和水平集估计(LSE)。该算法通过对一组潜在优化点(BO)或未分类点(LSE)的截断方差的求和进行贪婪收缩,并根据置信度边界进行更新。TruVaR在几个重要的设置中表现出了有效性,这些设置通常难以纳入近视算法中,包括单点成本和异方差噪声。我们提供了TruVaR的一般理论保证,其中涵盖了这些方面,并用其恢复和加强了有关BO和LSE的现有结果。此外,我们为选取具有相关成本的噪声级别的局面提供了新的结果。我们在合成和真实数据集上展示了该算法的有效性。
Oct, 2016
使用 Dobrushin-optimized Gibbs samplers (DoGS)为基础,提供量身定做的变量选择顺序,在总变异距离到稳态方面提供了明确的上下限,明显降低了抽样预算,并证实了在联合图像分割和物体识别等方面的实际优越性。
Jul, 2017
此论文介绍了关于边际似然计算的最新进展, 以及与模型选择和假设检验相关的内容,包括概率模型的规范化常数计算,不合适先验的问题及可能的解决方案,理论比较和数字实验等。
May, 2020
该研究论文讨论了如何使用结构化的logconcave样本算法来采样复合密度和logconcave有限和,使用近端点方法启发的降维框架来改善问题条件的相关性,并提出了一种获取大量梯度查询乘数的简单算法。
Oct, 2020
Scalable Spike-and-Slab is proposed as a Gibbs sampling implementation for high-dimensional Bayesian regression with a continuous spike-and-slab prior, resulting in significant computational efficiency improvements over existing implementations.
Apr, 2022
通过在神经网络各个节点引入噪声,作者提出一种新的概率模型,认为由此所得的 posterior distribution 可以用有效的 Gibbs sampler 来采样,并在实验中证明了该方法在真实数据和合成数据上都能取得类似于 Hamiltonian Monte Carlo 或 Metropolis adjusted Langevin algorithm 等蒙特卡罗马尔可夫链方法的性能;此外,通过教师-学生模型,作者提出了一种热化准则,并通过实验演示其有效性,该准则可以用来检测算法在合成标注数据上无法从 posterior distribution 中采样的情况。
Jun, 2023
本研究解决了传统吉布斯抽样在随机扫描中选择变量均匀性的问题。提出了一种非均匀选择的随机扫描吉布斯抽样方法,并通过约束优化构建选择概率的解析解。这种改进显著提高了马尔可夫链的混合时间,并在实际应用中验证了其有效性。
Aug, 2024