非对数凹分布的随机量子取样与分割函数估计
本研究介绍了两种针对随机过程的量子算法,分别用于热吉布斯态的准备和马尔可夫链的命中时间估计,并使用哈密顿模拟、谱间隙放大和线性方程组解法等工具进行实现。
Mar, 2016
研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链,能够在考虑温度的情况下从多种形式的分布中进行快速采样。
Oct, 2017
该论文研究了近似采样的问题,特别是非对数凹分布的问题,提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法,并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。
May, 2023
本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论,包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等,旨在提高大数据情况下的效率与稳定性。
May, 2023
本文提出了一种量子算法,在估算所有具有有界方差的任意随机或量子子程序的期望输出值方面实现了接近二次的加速,并且通过结合量子步行的使用,为计算分区函数的最快已知经典算法提供了量子加速,同时也能有效地估计概率分布之间的总变差距离。所提出的量子算法具有严格的性能边界。
Apr, 2015
低精度训练是一种具有低成本的技术,可以提高深度神经网络的训练效率,而不会牺牲太多准确性。本文通过在强对数凹和非对数凹分布中使用低精度和全精度梯度累加器的随机梯度哈密顿蒙特卡罗(SGHMC)进行低精度采样的研究。理论上,我们的结果表明,对于非对数凹分布,在 2-Wasserstein 距离中实现 ε- 错误,与最先进的低精度采样器随机梯度朗之万动力学(SGLD)相比,低精度 SGHMC 实现了二次改进(〜O(ε^ -2μ^ -2 log^2(ε^ -1)))。此外,我们证明了相对于低精度的 SGLD,低精度的 SGHMC 对量化误差更具鲁棒性,因为基于动量的更新对梯度噪音具有鲁棒性。实验上,我们在合成数据,MNIST、CIFAR-10 和 CIFAR-100 数据集上进行了实验,验证了我们的理论发现。我们的研究突出了低精度 SGHMC 作为一种高效精确的大规模和资源有限的机器学习采样方法的潜力。
Oct, 2023
本文研究 MCMC 算法的 mixing rate 问题,并根据 Poincaré inequality 定理,展示 MCMC 算法在 state space 的 subset 上的条件概率分布上快速逼近真实条件分布的能力,进而探讨该理论在高斯混合模型采样和 Gibbs 采样中的应用。
Jun, 2023
本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能,并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。
Aug, 2017
本文提出了一种快速的随机 Hamilton Monte Carlo 方法,用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能,实验结果表明,该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。
Feb, 2018