ICMLMar, 2019

无似然马尔可夫蒙特卡洛与分摊的近似比率估计器

PDF
TL;DR该研究提出了一种解决在科学领域中使用高级计算机模拟时出现的后验推断问题的新方法，这种方法使用学习的灵活的摊销估计量来近似似然 - 证据比率，并可以嵌入 MCMC 采样器中以从难以处理的后验中获得样本。
posterior inferenceintractable likelihoodcomputer simulationsamortized estimatormcmc samplers
发现论文，激发创造
  • 近似推理的摊还 MCMC

    提出了一种新的近似推断算法，通过按摩用户选择的 MCMC 采样器的动态来近似目标分布，并使用这些样本更新近似网络，从而提高其质量，进而允许高度复杂或隐含定义的近似族，包括通过深度神经网络扭曲随机性源而产生的近似。实验以使用深度生成模型的图像建模为测试。通过摊销 MCMC 训练的深度模型被证明可以生成逼真的图像样本，以及为具有缺失像素区域的图像产生多样的填充结果。

    Feb, 2017

  • 直接摊销似然比估计

    我们引入了一种新的摊销似然比估计器，用于无似然模拟推理（SBI），引入了一种称为直接神经比率估计器（DNRE）的模型，对先前的方法进行了改进，并在文献中与其他估计器进行了比较，同时实现了一个新的导数估计器，使得我们可以比较无似然哈密顿蒙特卡洛（HMC）和随机行走 Metropolis-Hastings（MH），最后我们通过使用神经比率估计器设计四旋翼飞行器展示了该方法的现实应用。

    Nov, 2023

  • 关于双重难以计算似然贝叶斯推断的随机死亡估计

    解决双重难以计算的分布后验的几种逼近方法被回顾了，同时提出了一种基于物理学文献的替代方法用于表示难以计算的似然函数，并使用量子色动力学文献结果对其进行了评估。

    Jun, 2013

  • 大型语言模型中的难以计算的推断摊销

    通过使用归约化贝叶斯推理方法从难以通过条件概率分布采样的后验分布中提取样本，我们展示了这种分布匹配模型在 LLM 微调中作为最大似然训练和奖励最大化策略优化的有效替代方法，进而实现了对多步骤推理和工具使用任务的数据高效适应。

    Oct, 2023

  • 使用比值估计实现无似然推断

    基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

    Nov, 2016

  • 大数据集下近似 MCMC 链的遍历性

    本文研究了近似 MCMC 算法的收敛性和偏差 - 方差平衡问题，并针对多个简化算法进行了实证分析。

    May, 2014

  • 扩散模型在视觉、语言和控制中的难以推断的摊销

    本文研究了扩散生成模型的后验采样问题，提出了一种相对轨迹均衡的数据无关学习目标，并将其应用于视觉、语言和控制等领域，展示了其在生成建模和离线强化学习中的潜力。

    May, 2024

  • 用耦合方法界定 Wasserstein 距离

    本文提出了一种基于耦合的马尔可夫链的估计方法，用于评估渐近偏差抽样方法的质量，并在高维度下证明了该方法的有效性，将其应用于各种贝叶斯估计方法中，包括在 4500 维度下的贝叶斯逻辑回归和在 50000 维度下的贝叶斯线性回归。

    Dec, 2021

  • 使用经过校准的判别性分类器来逼近似然比

    本文提出了一种基于机器学习和降维的新方法，用于进行无似然推断，不需要事先了解模型参数的先验分布。

    Jun, 2015

  • 神经方法实现参数摊销推理

    基于模拟的方法对于统计推断发展迅速，过去 50 年随着技术进步，如今它又迎来一次革命，利用神经网络、优化库和图形处理器进行学习数据和推断目标之间复杂映射，从而快速实现推断。本文回顾了最近在点估计、近似贝叶斯推断、自动构建摘要统计以及似然函数近似等方面取得的进展。综述还包括可用的软件，并通过一个简单实例展示了可用于快速推断的工具及其比起最先进的马尔可夫链蒙特卡洛方法所带来的好处。文章最后总结了相关主题，展望了未来的研究方向。

    Apr, 2024