ICMLOct, 2023

基于模拟的推断与广义 Kullback-Leibler 散度

PDF
TL;DR在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。
simulation-based inferenceneural posterior estimationkullback-leibler divergenceunnormalized distributionsbenchmark results
发现论文，激发创造
  • 正态 - 伽玛分布的 Kullback-Leibler 散度

    本文研究了正态 - 伽马分布的 Kullback-Leibler 散度，并发现它与具有共轭先验的单变量一般线性模型的贝叶斯复杂度惩罚相同。在此基础上，我们提供了两个 KL 散度的应用，一个是在模拟数据中，一个在实证数据中。

    Nov, 2016

  • 改进交叉熵估计器的无似然推断

    通过利用神经网络作为概率无关推断的代理模型，使用隐式生成模型或模拟器提供的联合概率比和联合得分来增强这些代理模型的训练数据，提出了一种新的交叉熵估计器，与之前利用增强训练数据的损失函数相比，该估计器提供了更好的样本效率。

    Aug, 2018

  • 函数空间中变分推断的理解

    本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

    Nov, 2020

  • 基于 KL 散度的模型融合

    本研究提出了一种方法来融合从异构数据集中学习到的后验分布。该算法基于均值场假设和简单的分配和平均方法，并通过正则化分配问题的变体来解决分配问题。对于指数族变分分布，我们的公式导致了一个有效的非参数算法来计算融合模型。该算法易于描述和实现，效率高，并在运动捕捉分析，主题建模和贝叶斯神经网络联合学习方面具有竞争力。

    Jul, 2020

  • 贝叶斯神经网络中基于损失校准的近似推断

    本文提出了一种基于 Bayesian 决策理论的新的、具有损失校准的证据下界来近似贝叶斯神经网络的真实后验分布，该下界依赖于一种效用函数，以确保我们的逼近方法对于具有非对称效用函数的应用程序具有更高的效用。此外，该方法具有与标准 dropout 神经网络相同的目标，但具有额外的依赖于效用函数的惩罚项。

    May, 2018

  • 关于干预型 Kullback-Leibler 散度

    这篇研究论文介绍了一种新的方法，即干预 Kullback-Leibler（IKL）离散度，来量化因果模型之间的结构和分布差异，以提高在动态环境下的智能代理的转移知识能力。

    Feb, 2023

  • 从隐式模型中挖掘金子，以改善无似然推理

    介绍了一种新型的基于模拟的推断技术，在高维情况下，这种技术超越了传统的近似贝叶斯计算方法，并扩展了基于神经网络的代理模型的方法，并演示了这些新技术比传统方法更具样本效率和提供更高保真度的推断。

    May, 2018

  • 基于健壮分歧的变分推断

    本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

    Oct, 2017

  • 平衡基于模拟的保守后验推断

    本研究将平衡方法扩展到任何提供后验密度的算法上，并提出了神经后验估计和对比神经比率估计的平衡版本，实验结果表明平衡版本倾向于在各种基准测试中产生保守的后验逼近，并提供了平衡条件的替代解释。

    Apr, 2023

  • 利用可微的覆盖概率校准神经仿真推断

    引入校准项到神经模型的训练目标中，通过放松经典校准误差公式，我们提出了一种方法来解决现有算法对后验不确定性估计准确性的挑战，该方法适用于现有计算流程，实现可靠的黑盒后验推断，并在六个基准问题上经验证明具有竞争性或更好的结果。

    Oct, 2023