分层隐式模型与无似然变分推断

Feb, 2017

Deep and Hierarchical Implicit Models

Dustin Tran, Rajesh Ranganath, David M. Blei

TL;DR本文介绍了一种基于隐式概率模型的变分推理算法，称为 LFVI。我们介绍了一种称为HIEMS的隐式概率模型，这种模型将隐含密度与分层贝叶斯建模相结合，可以处理具有丰富隐藏结构的数据。通过与模型的灵活性匹配来构建隐含变分族，从而实现了后验的准确近似。我们展示了 LFVI 的多种应用：在生态学中用于生态中的捕食-被食模拟器，在离散数据的贝叶斯对抗生成网络中以及在文本生成中的一个隐式模型。

Abstract

implicit probabilistic models are a very flexible class for modeling data. They define a process to simulate observations, and unlike traditional models, they do not require a tractable likelihood function. In this paper, we develop two families of models: →

发现论文，激发创造

层级变分模型

通过引入分层变分模型来规范表达力强的变分分布，以提高黑盒变分推断的计算效率和可扩展性，并通过在深度定性潜变量模型中进行了研究来实现更高的后验品质。

Nov, 2015

对抗消息传递用于图形模型

本文提出了将生成式对抗网络（GANs）视为隐式模型的一种方法，基于生成器和判别器的相互作用弱化了显式的似然值评估，从而在有向无环图的结构模型中实现了贝叶斯后验推理和模型学习。

Dec, 2016

隐式最大似然估计

我们开发了一种简单的方法，用于估计隐式模型中的参数，无需了解似然函数或任何导出量的形式，但在某些条件下可以证明等价于最大化似然函数。此结果适用于参数有限且数据示例数量有限的非渐近参数设置，并展示了令人鼓舞的实验结果。

Sep, 2018

重要性加权层级变分推断

通过引入一种新的变分上界家族，我们提出了一种用于层次模型的变分下界族，使得我们可以使用更具表现力的近似后验概率，并在一系列实验中证明了所提出的方法的卓越性能。

May, 2019

通过互信息神经估计的贝叶斯隐式模型实验设计

对于内隐随机模型，在数据生成分布复杂度很高但采样是可能的情况下，我们应当采用贝叶斯实验设计来最大限度地提高数据与参数变量之间的互信息，并利用基于神经网络的互信息估计来处理计算成本较高的难题，并在模拟研究中展示其可行性。

Feb, 2020

简单分层模型的摊余变分推断

本论文提出了使用摊销方法的变分推断，使用共享参数同时表示所有本地分布，类似于使用完整高斯联合分布，但可在数个数量级更大的数据集上实现，速度大大快于使用结构化变分分布。

Nov, 2021

使用本地增强边界进行层次模型的变分推断

本文提出了一种基于收紧方法的层次模型变分下界的变分方法，该方法可以自然地使用子采样以获得无偏梯度，并在较低维度空间中独立地应用紧缩较低下界的方法，以获得比相关基线更好的结果和更准确的后验近似。

Mar, 2022

高维后验隐式变分推理

我们提出了使用神经采样器来近似复杂多模态和相关后验分布的隐式分布的方法，并介绍了一种新的采样器架构，允许以百万个潜变量为基础的隐式分布，通过可微的数值逼近解决计算问题。我们的实证分析表明，我们的方法能够恢复大型贝叶斯神经网络中层间的相关性，这对网络的性能非常关键，但是一直以来都非常难实现。通过下游任务的实验，我们证明了我们的表达性后验优于最先进的不确定性量化方法，验证了我们的训练算法的有效性和学习出的隐式逼近的质量。

Oct, 2023

层次半隐式变分推理及其在扩散模型加速中的应用

本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

Oct, 2023

深度贝叶斯模型的改进变分推理

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024