结构性随机梯度 MCMC
本文探讨不同近似推断方法(Markov chain Monte Carlo 和变分推断)的优缺点,并提出一种分布来衡量它们之间的差距,其示例介绍了如何从这个分布中采样,以便在现有方法(基于 Langevin 动力学和随机梯度变分推断)之间进行加权插值。
Jun, 2017
本文介绍了一种新型的高效样本推断框架,变分贝叶斯蒙特卡罗(VBMC),可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分,并在合成和实际数据的测试中表现出很好的性能。
Oct, 2018
本文在变分推理中提出了一种新的逼近分布族:变分顺序蒙特卡罗(VSMC)族,并显示了如何在变分推理中优化它,从而将变分推理和顺序蒙特卡罗相结合,提供了灵活,准确且强大的贝叶斯推理。我们展示了它在状态空间模型,金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。
May, 2017
本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗(SGMCMC)的可扩展蒙特卡罗算法,其利用数据子抽样技术降低了 MCMC 的迭代成本,并比较了其效率与 MCMC 在基准示例上的异同。
Jul, 2019
提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法,它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似,并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。
Oct, 2014
本文提出了一种改进的变分共识蒙特卡洛算法,该算法优化聚合函数以从分布中获得更好的近似目标,并展示了在三个推理任务中的优越性,实验结果表明,在一些情况下,改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。
Jun, 2015
本文针对大数据分析,提出了一种基于 Wasserstein 梯度流的粒子优化框架,用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法,并能够更有效地解决概率测度空间上的挑战。实验结果表明,该框架能够提高贝叶斯抽样的效率和可伸缩性。
May, 2018
本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法,通过使用拟牛顿优化方法的思想考虑局部几何,并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似,同时保持时间和内存复杂度与问题的维数成线性关系,我们的理论分析表明,该方法在渐近无偏和一致后验期望的同时,实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。
Feb, 2016
开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法,通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战,进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。
Jun, 2017
本文提出了基于 Quasi-Monte Carlo 采样的方差减少方法,有效地提高了 Monte Carlo gradient estimator 的 MCVI 性能,并通过实验验证了该方法。
Jul, 2018