NIPSAug, 2014

层次半 - 马尔科夫条件随机场的 MCMC 方法

PDF
TL;DR本文研究了针对嵌套时序数据的一类重要模型：层次化半马尔科夫模型。提出了一种新的近似技术，结合了 Gibbs 采样和 Rao-Blackwellization 方法，已有潜力在保证较高质量的情况下，在长度和深度上实现亚立方时间复杂度和线性时间复杂度。通过基于模拟的评估，证明了该方法在保证运行时间和序列长度的情况下，取得了较好的质量。
hierarchical semi-markov modelsexact inferencesub-cubic time complexitygibbs samplingrao-blackwellisation
发现论文，激发创造
  • 递归序列数据的分层半马尔可夫条件随机场

    本文提出了一种基于部分监督学习的、以区分性参数化的、具有多项式时间算法的分层半马尔可夫条件随机场模型，可以用于人类活动检测和名词短语分块等应用中进行复杂的分层嵌套马尔可夫过程建模，并在部分监督和有监督的数据中展示其高精度。

    Sep, 2010

  • 隐马尔可夫模型的随机梯度马尔可夫链蒙特卡罗方法

    开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法，通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战，进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。

    Jun, 2017

  • 图形模型的顺序蒙特卡罗方法

    通过提出一种新的框架，使用顺序蒙特卡罗方法对概率图模型进行推断，其目的是通过针对辅助分布来逼近概率图模型定义的全联合分布，并用于构建一般 PGM 的高维块采样算法。

    Feb, 2014

  • 使用双重随机 MCMC 学习深度生成模型

    本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

    Jun, 2015

  • 利用机器学习模型加速多层级马尔可夫链蒙特卡洛

    利用多层次马尔可夫链蒙特卡洛 (MCMC) 抽样算法的低保真机器学习模型，本文提出了一种有效的方法来加速大规模问题的抽样。通过在层次结构框架中将高保真模型与低保真模型相结合，我们的方法提供了一种计算高效的替代方案，以改善样本的接受率。我们的技术在地下水流问题中获得了相似的准确性，同时将多层抽样加速了两倍。

    May, 2024

  • 随机梯度马尔可夫链蒙特卡洛

    本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗（SGMCMC）的可扩展蒙特卡罗算法，其利用数据子抽样技术降低了 MCMC 的迭代成本，并比较了其效率与 MCMC 在基准示例上的异同。

    Jul, 2019

  • 基于混合成员随机块模型的可扩展 MCMC 算法

    本文提出了一种基于随机梯度马尔科夫链蒙特卡罗算法的用于混合成员随机块模型中可扩展推理的方法。该算法利用了随机梯度黎曼 Langevin 采样器，每次迭代都能实现更快的速度和更高的精度，比基于随机变分推理的当前最先进算法更优，同时我们还开发了一种适用于处理大量社区的近似方法。实验结果表明，SG-MCMC 在所有情况下均优于竞争算法。

    Oct, 2015

  • 基于 Hamiltonian 蒙特卡罗法的分层模型

    本文介绍了哈密顿蒙特卡洛方法在层次模型中的应用，以克服常规推论方法的病态现象，进而有效地对应用统计学中的复杂交互进行建模。

    Dec, 2013

  • 加速 MCMC 算法

    本研究使用 Markov chain Monte Carlo 算法通过局部探索复杂的统计分布进行模拟，加速收敛的技术包括 tempering 和 Hamiltonian Monte Carlo 等方法。

    Apr, 2018

  • 结构性随机梯度 MCMC

    用一种新的非参数泛化逼近方法代替 VI，包含了一种 Langevin-type 算法，其中一部分潜变量是从 Markov 链的早期样本中平均的，以控制地打破统计相关性，从而使链更快混合。通过在 ResNet-20 上对 CIFAR-10，SVHN 和 FMNIST 进行测试，我们发现与 SG-MCMC 和 VI 相比，在收敛速度和 / 或最终准确性方面都有所提高。

    Jul, 2021