本文研究在数据的概率模型中推断一个潜在函数的问题,并探究了基于马尔可夫链蒙特卡罗采样的高效计算方法在大型数据集上的可行性,提出了一种近似方法,使潜在变量和相关参数的顺序采样能够有效地处理增长数据设置,证明了其在无序、非顺序采样下不可行的情况下的强大性能。
Jul, 2018
本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率,并讨论了克服这种泛化所引入的实际问题的技术。实验证明,该方法在探索复杂的多峰后验分布方面表现优秀。
Jun, 2017
本文研究高维贝叶斯线性回归的计算复杂度,介绍了一种截尾稀疏先验变量选择方法,通过 Metropolis-Hastings 算法,保证了变量选择的一致性和快速混合。
May, 2015
Markov 链蒙特卡洛 (MCMC) 是推断隐藏马尔可夫模型的可行方法,但由于参数空间中蒙特卡洛采样器在不确定区域内随机采取小步骤,受维度诅咒的约束往往导致计算上的限制。我们首次将目标的后验分布视为样本在无限维欧几里得空间中的映射,其中嵌入了确定性子流形,并提出了一种通过最大化加权里捷极化量来离散化可矩阵流形的新准则。我们研究了 Chebyshev 粒子的特性,并将它们嵌入到连续的 MCMC 中,这是一种高接受率的新型采样器,只提出了少量评估。我们在合成数据的线性高斯状态空间模型和真实数据的非线性随机波动率模型的参数推断实验中取得了高性能。
Sep, 2023
本文介绍了一种新的高效的马尔可夫链蒙特卡洛方法,以执行贝叶斯计算。该方法基于正则化的未调整 Langevin 算法,利用凸分析工具构建具有良好收敛性质的马尔可夫链,扩展了当前采用 Proximal 优化算法解决的模型,并在图像去卷积和断层重建等四个实验中进行了演示和验证。
Dec, 2016
本文提出了一种基于高斯过程近似的三种方法:基于哈密顿蒙特卡罗算法、基于真实后验期望的重要性抽样方法和利用高斯过程分布重新赋权的替代重要性抽样方法,以解决大数据下的马尔科夫链蒙特卡罗算法不适合的问题。
May, 2016
本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法,通过使用拟牛顿优化方法的思想考虑局部几何,并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似,同时保持时间和内存复杂度与问题的维数成线性关系,我们的理论分析表明,该方法在渐近无偏和一致后验期望的同时,实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。
Feb, 2016
本文介绍了基于可逆跳 Markov 链的高效 Gaussian 采样算法,该算法通过自适应方案调整截断级别实现线性系统的近似解法,并在图像分辨率增强的线性反问题上得到了验证。
Sep, 2014
使用欠阻尼 Langevin Monte Carlo 的近似 Thompson 抽样策略,改善了高维问题中需求高准确性时的可扩展性问题,并通过合成实验在高维赌博问题中经验验证了该算法的可扩展性和鲁棒性。
Jan, 2024
本文提出了一种基于 Thompson 采样的可扩展和有效的强化学习策略,通过使用 Langevin Monte Carlo 从其后验分布中直接抽取 Q 函数,该方法只需进行嘈杂的梯度下降更新即可学习 Q 函数的精确后验分布,在深度 RL 中易于部署,取得了优于或类似于 Atari57 套件上现有深度 RL 算法的结果。
May, 2023