Dec, 2023

加权 Riesz 粒子

HTML
PDF
TL;DR马尔可夫链蒙特卡洛(MCMC)方法通过对复杂统计分布进行局部探索来模拟，尽管避免了对目标的具体分析表达式的繁琐要求，但这种对不确定参数空间的随机探索需要大量样本，而且随着参数维度的增加而增加计算复杂性。我们将目标分布视为一个映射，其中参数的无限维空间包含一些确定性子流形，并提出了一种广义能量度量，称为加权Riesz能量，通过成对交互生成一些点以离散化这些测地子流形。我们研究了这些点的属性，称之为Riesz粒子，并将其嵌入到顺序MCMC中，发现更少的评估可以实现更高的接受率，我们通过针对具有合成数据的线性高斯状态空间模型和现实世界数据的非线性随机波动模型的实验比较分析进行了验证。
发现论文，激发创造
  • 无 U-Turn 采样器：自适应设置哈密顿蒙特卡罗路径长度

    介绍了一种基于 Hamiltonian Monte Carlo 的 No-U-Turn Sampler 算法，能够消除用户需要手动设置采样步数的需求，通过递推式自适应调整采样步数；此算法效率至少不劣于标准 HMC 算法，而且不需要手动调参，适用于诸如自动推断引擎等的应用。

    Nov, 2011

  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度HMC，提出了一种使用带有摩擦项的二阶Langevin动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • 自适应贝叶斯采样与Monte Carlo EM

    该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学，并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外，还提出一种通过从跳字动力学中的采样误差估计自适应设置 E 步中收集的样本数量的方法，使用标准的哈密顿蒙特卡罗 (HMC) 以及新的随机算法，如 SGHMC 和 SGNHT，在合成和真实高维采样场景中表现出强大的性能。

    Nov, 2017

  • 镜像 Langevin Monte Carlo 的 Wasserstein 控制

    本研究主要探讨了在Hessian型流形上的Langevin扩散过程与镜像下降的关系,运用该理论推导出了Hessian Riemannian Langevin Monte Carlo算法的非渐进抽样误差上限并证明了其适用性。

    Feb, 2020

  • 可逆MCMC：一个统一的框架

    本文介绍了一种名为 iMCMC 的框架，它提供了一种统一的视角来描述各种 MCMC 算法，并提供了一些指导新算法设计的技巧。两个例子展示了如何将已知的可逆 MCMC 算法转化为更高效的不可逆算法。

    Jun, 2020

  • 离散空间中的局部自平衡MCMC

    本文所提出的局部自平衡采样器（LSB）是一种局部的马尔可夫链蒙特卡罗（MCMC）方法，可用于纯离散域中的采样，能够自主地适应目标分布并减少收敛所需的目标评估数。

    Sep, 2021

  • 基于 Monge 修补的拉格朗日流形蒙特卡罗

    本文提出一种新型的利用 Monge patch 嵌入为高维欧几里得空间，并采用由直接几何推理确定的诱导度量的可替代性黎曼度量，该度量仅需要一阶梯度信息和快速的逆和行列式，从而将计算迭代的复杂度从三次多项式降低到二次多项式，使得 Lagrangian Monte Carlo 在该度量下能够高效地探索目标分布。

    Feb, 2022

  • 对数凹马尔可夫链链

    本文介绍一种采用各向同性高斯平滑处理的框架来解决高维Markov链蒙特卡罗采样中存在的难题，通过对具有对数凹的密度下的条件密度进行采样来实现，同时以最小历史方式保持跟踪样本历史， 将采样算法推广到了步行跳跃采样，并通过与其他Langevin MCMC算法的比较量化了本文提出的算法的优越性以及其在分布模态之间的“隧道”传输能力。

    May, 2023

  • SpreadNUTS--无U转噬取样的路径适度动态延伸和区域划分

    本文介绍了一种针对Hamiltonian Monte Carlo(HMC)算法中no-U-turn sampler (NUTS)进行改进的方法，以实现更快的收敛速度。

    Jul, 2023

  • 切比雪夫粒子

    Markov链蒙特卡洛(MCMC)是推断隐藏马尔可夫模型的可行方法，但由于参数空间中蒙特卡洛采样器在不确定区域内随机采取小步骤，受维度诅咒的约束往往导致计算上的限制。我们首次将目标的后验分布视为样本在无限维欧几里得空间中的映射，其中嵌入了确定性子流形，并提出了一种通过最大化加权里捷极化量来离散化可矩阵流形的新准则。我们研究了Chebyshev粒子的特性，并将它们嵌入到连续的MCMC中，这是一种高接受率的新型采样器，只提出了少量评估。我们在合成数据的线性高斯状态空间模型和真实数据的非线性随机波动率模型的参数推断实验中取得了高性能。

    Sep, 2023