Feb, 2024

蒙特卡洛马尔可夫链蒙特卡洛在期望最大化中的随机近似

PDF
TL;DR使用异步偏置的 MCMC 步骤分析了 SAEM 的渐近性和非渐近性，特别是偏置的影响，并在合成和真实数据集上进行了与渐近无偏算法 (MALA) 和渐近有偏算法 (ULA) 的数值实验比较。实验结果表明，ULA 在 Langevin 步长选择方面更稳定，并且有时可以实现更快的收敛。
expectation maximizationem algorithmmcmc-saemasymptotically biased mcmcconvergence
发现论文，激发创造
  • 高斯混合模型的量子期望最大化

    本研究提出一个基于量子算法的 EM 算法版本，用于解决高维 Gaussian 混合模型拟合问题，相较于传统算法有更快的收敛速度和更高的精度，并且能够推广到指数族分布，提供同样的计算保障。

    Aug, 2019

  • 基于期望最大化的分布估计算法视角

    该论文提出了一种新的框架，将一类分布估计算法，特别是协方差矩阵适应算法，写成了蒙特卡罗期望最大化算法和无限样本极限下的精确 EM，这个发现为 EDAs 研究提供了一个基于 EM 坚实统计基础的新的、一致的框架。

    May, 2019

  • 随机梯度马尔可夫链蒙特卡洛

    本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗（SGMCMC）的可扩展蒙特卡罗算法，其利用数据子抽样技术降低了 MCMC 的迭代成本，并比较了其效率与 MCMC 在基准示例上的异同。

    Jul, 2019

  • 高斯混合模型的期望最大化全局分析

    研究基于极大似然原理的迭代算法 —— 期望最大化算法（EM）在统计模型中的参数估计，发现其仅能保证收敛于似然函数的极值点而非最大值点，尤其针对包含两个高斯分布混合的模型进行具体分析，最终建立了 EM 算法的统计一致性。

    Aug, 2016

  • AdamMCMC：结合 Metropolis 调整 Langevin 和基于动量的优化

    本文介绍了一种通过从温度后验分布的蒙特卡洛抽样来量化认识不确定性的新算法，该算法通过结合良好建立的 Metropolis Adjusted Langevin 算法（MALA）和基于 Adam 的动量优化，并利用一个椭圆提案分布，高效地从后验中抽取样本，我们证明所构造的链具有 Gibbs 后验分布作为一个不变分布，并收敛到该 Gibbs 后验分布的全变差。数值评估将推迟到第一个修改。

    Dec, 2023

  • 高维期望最大化算法：统计优化和渐近正态性

    本文提供了一个关于期望最大化 (EM) 算法应用于高维潜变量模型推断的一般理论。作者提出了一个新的高维 EM 算法，自然地融入了稀疏结构到参数估计中。基于估计值，作者提出了新的推论程序来测试假设并构建置信区间。这个算法针对广泛的统计模型，提供了高维最先进的估计和渐近推断的第一个可计算的方法。

    Dec, 2014

  • 加速 MCMC 算法

    本研究使用 Markov chain Monte Carlo 算法通过局部探索复杂的统计分布进行模拟，加速收敛的技术包括 tempering 和 Hamiltonian Monte Carlo 等方法。

    Apr, 2018

  • 变分 MCMC

    介绍一种新型学习算法，该算法结合了变分逼近和马尔可夫链蒙特卡罗（MCMC）模拟，它的目的是更好地估计高阶时刻，如协方差，并用于逻辑信念网络的贝叶斯参数估计问题。

    Jan, 2013

  • 一种自适应模拟退火 EM 算法用于非齐次隐马尔可夫模型的推断

    本文针对非齐次隐马尔科夫模型的模型选择问题，提出一种基于自适应模拟退火期望最大化算法的联合优化方法。

    Dec, 2019

  • 通过 MCMC 速度测量学习变分自动编码器

    研究纵观了变分自编码器（VAEs）的训练方法，提出了一种基于熵的自适应方法来优化更紧的变分下界，该方法能适应潜在层次变量模型中复杂的后验几何结构，并获得更高的生成度量。

    Aug, 2023