针对难以处理的似然函数的强健广义贝叶斯推断

Apr, 2021

针对难以处理的似然函数的强健广义贝叶斯推断

Robust Generalised Bayesian Inference for Intractable Likelihoods

Takuo Matsubara, Jeremias Knoblauch, François-Xavier Briol, Chris. J. Oates

TL;DR本文探讨了以 Stein discrepancy 作为损失函数的广义贝叶斯推断，以规避似然函数中存在难以计算的标准化常量，并展示了其一致性、渐近正常性和偏差稳健性，同时提供了针对各种难以计算分布的数值实验，包括基于核的指数族模型和非高斯图模型的应用。

Abstract

generalised bayesian inference updates prior beliefs using a loss function, rather than a likelihood, and can therefore be used to confer robustness against possible mis-specification of the likelihood. Here we consider

generalised bayesian inference stein discrepancy normalisation constant markov chain monte carlo intractable distributions

发现论文，激发创造

更新信念分布的一般框架

我们提出了一个泛贝叶斯推理的框架，利用损失函数将数据信息与感兴趣参数相连，并使用累计损失函数的决策论方法更新信念，从而在更一般的情况下提供连贯的主观推断。

Jun, 2013

广义拉普拉斯近似

Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

May, 2024

斯坦变分梯度下降：一种通用贝叶斯推断算法

本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

Aug, 2016

一般贝叶斯更新和损失 - 似然自助法

本文重新审视了加权似然 Bootstrap 的方法，该方法可以在带参数模型下生成近似 Bayesian 后验的样本。我们表明，同样的方法可以在参数模型下进行，由无法确定的样本分布的期望负对数似然极小化引起。我们称这种方法为 Loss-Likelihood Bootstrap。

Sep, 2017

关于双重难以计算似然贝叶斯推断的随机死亡估计

解决双重难以计算的分布后验的几种逼近方法被回顾了，同时提出了一种基于物理学文献的替代方法用于表示难以计算的似然函数，并使用量子色动力学文献结果对其进行了评估。

Jun, 2013

广义后验的渐近正态性、集中性和覆盖性

本文提出了广义后验具有集中性，渐进正态性 (Bernstein-von Mises),A Laplace 近似正确，以及渐近正确的频率覆盖率的充分条件，并将其应用于广义似然的广义后验中，包括一般的伪似然，高斯马尔科夫随机场伪似然，完全观察的 Boltzmann 机器伪似然，Ising 模型伪似然，Cox 比例风险偏似然，以及基于中值的位置鲁棒推断的似然。此外，我们展示了如何使用我们的结果轻松建立指数族和广义线性模型的标准后验的渐进性质。

Jul, 2019

论 Stein 变分梯度下降的几何形式

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

非线性回归模型的近似贝叶斯计算

介绍了一种基于机器学习的方法，通过非线性条件异方差回归和改进的重要性采样方法估计后验概率密度，相较于现有方法在统计遗传学和排队模型等领域计算负担减轻了不少。

Sep, 2008

使用比值估计实现无似然推断

基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

Nov, 2016

贝叶斯后验逼近误差的实际界限：一种非渐进方法

本文提出了一种新的方法，基于 Wasserstein 距离的估计误差进行控制，然后通过广义 Fisher 距离限制 Wasserstein 距离。我们使用这种方法为 Laplace 近似和 Hilbert coresets 推导 Wasserstein 误差上限，并期望这种方法也适用于其他近似推理方法，例如综合 Laplace 近似、变分推理和近似贝叶斯计算。

Sep, 2018