受限领域中的无学习率贝叶斯推理
该论文研究贝叶斯学习中常见的最大后验估计和后验分布采样的计算任务,证明在非凸情况下后验分布采样有时比优化更快,并展示两者在计算复杂性上的不可比较性,呈现出计算复杂度的急剧相变。
Nov, 2019
本研究介绍了一种新的粒子演化采样器,适用于约束域和非欧几里德几何。使用 Stein Variational Mirror Descent 和 Mirrored Stein Variational Gradient Descent 定义一个镜像映射,在双重空间中演化粒子,通过最小化 KL 散度到约束目标分布。 Stein Variational Natural Gradient 利用非欧几里德几何更高效地最小化 KL 散度到无约束目标。通过引入首次开发的一类镜像 Stein 算子和自适应内核来推导这些采样器。证明了这些新的采样器在单纯形上可以精确地逼近分布,在后选择推断中提供有效的置信区间,并且在大规模无约束后验推断中比以前的方法更快地收敛。最后,在目标分布上的可验证条件下,我们建立了我们的新程序的收敛性。
Jun, 2021
介绍了两种用于通过边缘最大似然估计学习潜变量模型的新的基于粒子的算法,其中包括一种完全免调范的算法。我们的方法基于作为优化问题的边缘最大似然估计的视角:即作为自由能泛函的最小化。我们验证了我们算法在广泛的数值试验中的性能,包括几个高维设置。
May, 2023
我们提出了一种名为Metropolis-adjusted Mirror Langevin算法的新方法,用于从支持为紧凸集的分布中进行近似抽样。该算法在镜像Langevin算法(Zhang等人,2020)的单步离散化所产生的马尔可夫链中添加了接受-拒绝过滤器,而已知的镜像Langevin算法的离散化具有渐近偏差。当势函数相对平滑、凸且在自共轭镜像函数上满足Lipschitz条件时,我们给出了所提算法的混合时间的上界。作为算法产生的马尔可夫链可逆性的结果,我们对近似抽样的误差容限得到了指数级的改善依赖。我们还进行了数值实验以验证我们的理论发现。
Dec, 2023
利用反射步骤在有界域内进行约束非凸探索,提出了反射式复制交换随机梯度 Langevin 动力学 (r2SGLD),通过理论和实证研究证明了约束探索对提高模拟效率的关键作用。
May, 2024
本研究解决了如何利用Langevin动态从高维分布中进行采样的问题,特别是在优化初始情况下。我们提出了一种新方法,证明在适当的低温条件下,可以用Langevin动态进行有效的采样。研究结果显示,这一方法能够处理多种新的非对数凹分布,为相关领域提供了重要的理论支持。
Oct, 2024
本研究解决了在约束域中进行采样的难题,提出了一种新的功能梯度变分推断方法,称为约束功能梯度流(CFG),并为其引入了梯度流的边界条件。通过理论分析和实验验证,展示了该方法在总变差下具有可证明的连续时间收敛性,提供了一种有效的处理约束域采样的框架。
Oct, 2024
本文解决了在满足一组统计约束条件下,从已知归一化常数的概率分布中进行采样的问题,特别是在贝叶斯推断中的应用。文章提出了一种新的原始-对偶朗之万蒙特卡洛算法(PD-LMC),该算法利用Wasserstein空间中的渐变下降-上升动态,能够同时约束目标分布并进行采样。研究表明,PD-LMC在多个应用中具有良好的效果和相关性。
Nov, 2024