May, 2024

利用机器学习模型加速多层级马尔可夫链蒙特卡洛

PDF
TL;DR利用多层次马尔可夫链蒙特卡洛 (MCMC) 抽样算法的低保真机器学习模型，本文提出了一种有效的方法来加速大规模问题的抽样。通过在层次结构框架中将高保真模型与低保真模型相结合，我们的方法提供了一种计算高效的替代方案，以改善样本的接受率。我们的技术在地下水流问题中获得了相似的准确性，同时将多层抽样加速了两倍。
markov chain monte carlobayesian inferencemachine learningmultilevel algorithmacceleration
发现论文，激发创造
  • 加速 MCMC 算法

    本研究使用 Markov chain Monte Carlo 算法通过局部探索复杂的统计分布进行模拟，加速收敛的技术包括 tempering 和 Hamiltonian Monte Carlo 等方法。

    Apr, 2018

  • 在贝叶斯优化中加速前瞻：多级蒙特卡洛是唯一的

    我们利用多层蒙特卡罗 (MLMC) 来改善涉及嵌套期望和最大化的多步前瞻贝叶斯优化 (BO) 方法的性能。MLMC 能够以正规蒙特卡罗收敛速度处理此类问题，无论维度如何，也不需要任何平滑性假设。我们的理论研究侧重于对一步和两步前瞻采集函数的近似改进，但如我们所讨论的，该方法具有可推广性，适用于超越 BO 上下文的其他方式。我们在几个基准示例上进行了数值验证，并展示了 MLMC 对 BO 的优势。代码在此链接中可获得。

    Feb, 2024

  • 使用马尔可夫链蒙特卡洛从大型语言模型中恢复心智表征

    使用大型语言模型（LLMs）作为抽样算法的元素，可以有效地研究 LLMs 的心理表征。我们通过使用 Direct Sampling 和 Markov chain Monte Carlo（MCMC）基于自适应抽样算法，实现了高效和高性能的心理表征恢复，同时展示了通过 LLMs 进行贝叶斯推断的潜力。

    Jan, 2024

  • 随机梯度下降中多级蒙特卡洛的并行复杂度

    我们在深度对冲的例子中，通过提出的延迟多层蒙特卡洛（MLMC）梯度估计器，证明了我们的方法在与 SGD 中标准 MLMC 相比的优越的并行复杂度。

    Oct, 2023

  • 层次半 - 马尔科夫条件随机场的 MCMC 方法

    本文研究了针对嵌套时序数据的一类重要模型：层次化半马尔科夫模型。提出了一种新的近似技术，结合了 Gibbs 采样和 Rao-Blackwellization 方法，已有潜力在保证较高质量的情况下，在长度和深度上实现亚立方时间复杂度和线性时间复杂度。通过基于模拟的评估，证明了该方法在保证运行时间和序列长度的情况下，取得了较好的质量。

    Aug, 2014

  • 基于 Hamiltonian 蒙特卡罗法的分层模型

    本文介绍了哈密顿蒙特卡洛方法在层次模型中的应用，以克服常规推论方法的病态现象，进而有效地对应用统计学中的复杂交互进行建模。

    Dec, 2013

  • 随机梯度 MCMC 的元学习

    本文提出了第一个元学习算法，可以自动设计 SG-MCMC 采样器的连续动力学，学习的采样器泛化了 Hamiltonian 动力学，并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证，表明学习采样器优于通用手动设计的 SG-MCMC 算法，并且可以推广到不同的数据集和更大的架构。

    Jun, 2018

  • 基于流的生成模型在格子场理论马尔可夫链蒙特卡罗中的应用

    使用基于机器学习流的生成模型的马尔可夫链更新方案，可用于网格场论的蒙特卡罗采样。

    Apr, 2019

  • MCMC 驱动学习

    该论文旨在统一马尔科夫链蒙特卡洛（MCMC）与机器学习的各种问题，包括黑箱变分推断、自适应 MCMC、理论流构建和辅助传输 MCMC、代理似然 MCMC，并通过一个共同的框架进行泛化与翻译。

    Feb, 2024

  • 大规模图像分类的贝叶斯推断

    ATMC 是一种自适应噪声 MCMC 算法，可用于从神经网络的后验中估计和采样，它能够在大规模深度学习任务中得到更好的分类精度和测试对数似然，并提供更好的不确定性度量。

    Aug, 2019