使用快速贝叶斯积分对概率模型进行推断取样

Nov, 2014

使用快速贝叶斯积分对概率模型进行推断取样

Sampling for Inference in Probabilistic Models with Fast Bayesian Quadrature

Tom Gunter, Michael A. Osborne, Roman Garnett, Philipp Hennig, Stephen J. Roberts

TL;DR该研究提出了一种用于概率模型推断的新型采样框架：一种主动学习方法，可比马尔可夫链蒙特卡罗（MCMC）基准更快地收敛（墙钟时间）。我们提出了一种基于模型的解决方案，通过熟知非负的概率集成（似然）来实现，以实现优化样本位置的廉价主动学习方案。实验结果表明，与简单的蒙特卡洛和退火重要性采样相比，我们的算法在合成和真实世界的示例中提供了更快的收敛速度（以秒为单位）。

Abstract

We propose a novel sampling framework for inference in probabilistic models: an active learning approach that converges more quickly (in wall-clock time) than Markov chain Monte Carlo (MCMC) benchmarks. The central challenge in →

active learning probabilistic inference numerical integration bayesian quadrature convergence

发现论文，激发创造

变分贝叶斯蒙特卡罗

本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

Oct, 2018

条件贝叶斯求积

我们提出了一种新的方法，用于估计昂贵的样本或积分估计的条件或参数期望。通过概率数值方法的框架（如贝叶斯求和），我们的新方法允许结合关于积分和条件期望的先验平滑性知识从而提供一种量化不确定性的方式，并在贝叶斯敏感性分析、计算金融和不确定性决策等具有挑战性的任务中在理论上和实证上得到了快速收敛率的确认。

Jun, 2024

Frank-Wolfe 贝叶斯积分：具有理论保证的概率积分

本文介绍了第一个能够满足严格收敛保证的概率积分器 ——Frank-Wolfe Bayesian Quadrature（FWBQ），证明了在 FWBQ 下，到达积分的真实值是指数级的，后验收缩速率被证明为超指数级。在仿真中，FWBQ 竞争性地与最先进的现有方法相比，并优于基于 Frank-Wolfe 优化的替代方法。本文的方法成功地应用于量化细胞生物学中一个具有挑战性的模型选择问题中的数值误差。

Jun, 2015

基于贝叶斯积分的自动模型选择

本文提出了一种新颖的技术，将贝叶斯积分方法用于模型选择，并在合成和实际例子上证明该技术通过最大化后验概率与模型似然观察之间的互信息，在计算上消耗更少的模型似然性评估，并且可以生产更精确的模型后验评估。

Feb, 2019

使用蒙特卡罗采样的主动学习并行采集

本文提出了一种称为 NORA 的新方法，该方法利用高斯过程回归的嵌套采样并行生成近似排序的 Monte Carlo 样本，以有效生成排序一致的候选者批次，以及推断边际量。

May, 2023

改进受限积分的求积

本研究提出了改进的贝叶斯框架，用于估计受限函数的仿射变换并实现四重积分，重点关注非负函数约束和以非负数与有限数为范围的函数约束，最终提出了一种在原始空间下进行超参数优化的新方法，实验结果表明我们的框架比现有的贝叶斯四重积分程序效果更好并且更快。

Feb, 2018

神经网络贝叶斯数值积分

本文介绍了一种基于 Stein 运算符的神经网络架构和 Laplace 近似的贝叶斯斯坦网络方法，以实现数值积分中的贝叶斯概率数值方法，相较于高成本的高斯过程模型，该方法在流体力学中的应用中表现了数倍的性能提高。

May, 2023

主动统计推理

活跃推理是一种与机器学习辅助数据收集相结合的统计推理方法，它通过在有限的标签收集预算下，利用机器学习模型识别哪些数据点最有利于标记，从而有效地利用资源。

Mar, 2024

核求积的采样问题

本研究提出一种自适应调节和序贯蒙特卡罗方法来确定最优采样分布以提高基于核函数的数值积分的收敛速度和准确性，并取得了 4 个量级的误差减小。

Jun, 2017

利用学习和推理的统计数据

该研究论文探讨了在面对包含海量数据集和需要超级计算机执行的模拟时，如何利用数据与模型之间的固有统计学特性来提高学习和推理的效率，并提出了相应的基于随机梯度的算法来检测概率、提高 MCMC 的更新效率和决定参数更新的接受或拒绝，同时探讨了在大数据和大模拟时代中 Bayesian 方法所面临的一些计算方面的挑战。

Feb, 2014