- 加速 Langevin 动力学的近端算法
基于随机化的 Nesterov 方案,我们开发了一类新颖的 MCMC 算法。我们通过适当地添加噪声,得到了一种时间非齐次的欠阻尼 Langevin 方程,并证明它的不变测度是一个指定的目标分布。同时,我们还建立了它在 Wasserstein - 非对数凹分布的 MCMC 算法快速条件混合
本文研究 MCMC 算法的 mixing rate 问题,并根据 Poincaré inequality 定理,展示 MCMC 算法在 state space 的 subset 上的条件概率分布上快速逼近真实条件分布的能力,进而探讨该理论在 - ICMLDG-LMC:一种易于使用且可扩展的同步分布式 MCMC 算法,其中采用 Gibbs 内的 Langevin Monte Carlo
本文提出了一种可靠性高、计算效率高的分布式 MCMC 算法来处理分布式数据集,该算法在高维环境下证明具有可伸缩性,并通过合成和真实数据的实验验证了方法的重要性。
- ICLR最大似然训练的 EBMs 是使用自对抗损失训练的生成模型
本文研究了训练基于能量的模型(EBMs)的最大似然估计方法,通过确定性梯度下降 ODE 解法替换 Langevin 动力学以了解该训练过程,并将动力学视为生成器模型并通过优化由能量确定生成器的梯度定义的评论家来连接 GAN,因此提出了自对抗 - 多尺度稀疏微正则模型
本文研究了具有长程相关性的非高斯稳态过程的近似,其中使用微正则模型条件化模型。通过梯度下降算法,从而产生满足能量限制的微正则梯度下降过程,该过程与多尺度能量向量和 $f l^1$ norm 相结合,实现高斯、伊辛以及点过程的逼近以及图像和 - Bayesian probit 回归的 Albert 和 Chib 算法的收敛复杂性分析
本文研究了在高维贝叶斯问题中使用 MCMC 算法,以及使用漂移和最小化条件来分析蒙特卡罗马尔可夫链的收敛速率,并对代数和 Chib 的数据增广算法进行了深入的分析,证明其下界大于 1,并且得到了渐近分析的一些实际结果。
- 离散空间局部 MCMC 的知情提议
提出了一种基于局部信息的 MCMC 算法设计关键框架,可以在离散和连续的参数空间下应用,得到了最优提案分布类 - 局部平衡提案的显式表达式,并证明了其在高维情况下的 Peskin 最优性。在贝叶斯记录链接等数据集上的结果表明,与其他 MCM - 无偏耦合马尔可夫链蒙特卡罗方法
本论文介绍采用马尔可夫链蒙特卡罗方法进行积分的 MCMC 估算器存在固定迭代次数后偏差的问题,并提出使用 Markov 链的耦合以及 Glynn 和 Rhee 的 telescopoc sum 算法来消除偏差,最终得到可并行计算的无偏估算器 - 温和后验分布及其变分逼近的集中性
本文提出了一种通用方法来证明分数后验变分近似的集中性,应用于矩阵补全和高斯 VB 两个例子,弥补了变分贝叶斯方法在理论方面的不足。
- GWAS 尺度上的贝叶斯收缩:一个可扩展的 MCMC 算法的收敛和近似理论,针对马蹄铁先验
本论文提出了两种新的马尔可夫链蒙特卡罗算法,用于计算高维模型中的马蹄铁先验,在维数增长时得以扩展,且与现有算法相比具有更高的性能;其中一种算法还可以逼近昂贵的矩阵乘积,在高维应用中加速数个数量级。
- 利用随机梯度下降进行近似贝叶斯推断
本文从随机过程的角度出发,论证了常数学习率随机梯度下降算法(constant SGD)可用作一种近似贝叶斯推断算法,其可优化模型中的超级参数,同时分析了 Langevin Dynamics 和 Stochastic Gradient Fis - 利用随机分割树并行化 MCMC 算法
本文介绍了一种新的 EP-MCMC 算法 ——PART, 采用随机划分树来合并子集后验抽取样本,该算法具有分布自由性,易于再抽样和适用于多个比例的优点。理论和实验表明,该算法在大数据集上表现良好。
- NIPSMCMC 代码测试
介绍了测试 MCMC 算法正确性的策略,包括采用模块化编程,分离条件概率计算和抽样逻辑,并提出了针对单元测试和集成测试的策略。以高斯混合模型的 Gibbs 抽样为例进行了演示。
- AAAI非对称图模型的升级概率推理
介绍了一种基于概率抽样的推理框架,利用图形模型中的近似对称性来提出在马尔可夫链中进行选择的步骤,以改进概率估计并保持无偏。
- 种群与单链随机逼近 MCMC 算法的弱收敛速率
本文建立了关于单链和群体随机逼近 MCMC 算法的弱收敛(收敛于正态分布)的理论,基于该理论,我们给出了群体 SAMCMC 算法和单链 SAMCMC 算法的收敛速率的明确比率。当收益系数序列缓慢下降时,我们的结果提供了群体 SAMCMC 算 - 变分 MCMC
介绍一种新型学习算法,该算法结合了变分逼近和马尔可夫链蒙特卡罗(MCMC)模拟,它的目的是更好地估计高阶时刻,如协方差,并用于逻辑信念网络的贝叶斯参数估计问题。
- 稀疏加性模型中的 PAC-Bayesian 估计和预测
研究高维加法模型下稀疏假设的估计和预测,探讨了一种基于 PAC-Bayesian 策略的实现方式,并通过高维 MCMC 算法的最新成果进行评估,最终在模拟数据上取得了良好的性能。
- ICML非参数元数据相关联模型
介绍非参数元数据依赖关系(NMDR)模型,一种贝叶斯非参数随机块模型用于网络数据,通过学习回归模型,使每个节点上的实体可以在无限多个潜在社区中具有混合成员资格,并且可以依赖和预测任意节点元数据。使用有效的 MCMC 算法从部分观察的节点关系 - 一种层次模型参数化的通用框架
本文介绍使用中心化和非中心化方法对广泛类别的分层模型进行参数化的方法,旨在构建有效的 MCMC 算法以探索后验分布。介绍中心化和非中心化何时效果好,并介绍了使用中心化和非中心化参数化的 Gibbs 采样器的收敛时间复杂度理论。同时,还提供了