Oct, 2023

高维后验隐式变分推理

HTML
PDF
TL;DR我们提出了使用神经采样器来近似复杂多模态和相关后验分布的隐式分布的方法，并介绍了一种新的采样器架构，允许以百万个潜变量为基础的隐式分布，通过可微的数值逼近解决计算问题。我们的实证分析表明，我们的方法能够恢复大型贝叶斯神经网络中层间的相关性，这对网络的性能非常关键，但是一直以来都非常难实现。通过下游任务的实验，我们证明了我们的表达性后验优于最先进的不确定性量化方法，验证了我们的训练算法的有效性和学习出的隐式逼近的质量。
发现论文，激发创造
  • 使用隐式分布的变分推断

    本文综述了现有算法之间的联系，包括广泛使用的变分自编码器、以对抗方式学习的推断、运算符变分推断、基于生成式对抗网络的图像重建等，提出了新的算法框架，并基于密度比估计或去噪等方法展示了实际的推断算法。

    Feb, 2017

  • 核隐式变分推断

    本文介绍一种名为核式隐式变分推断的新方法，可以成功地将隐式变分推断应用于贝叶斯神经网络，并在回归和分类任务上展现了有前途的结果。

    May, 2017

  • 半隐式变分推断

    使用半隐式变分推断方法(SIVI)扩展了通常使用的解析变分分布族, 可以将变分参数与灵活的分布混合. 这种混合分布可以采用任何密度函数来生成独立的随机样本, 并且在推理贝叶斯模型的后验概率方面与MCMC方法的精度相当.

    May, 2018

  • 无偏的隐式变分推断

    本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

    Aug, 2018

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 基于径向函数的贝叶斯神经网络: 在大规模贝叶斯深度学习中突破离散支持限制

    我们提出了径向贝叶斯神经网络（Radial Bayesian Neural Networks，简称Radial BNNs）:一种变分后验的BNNs，它适用于大型模型而仍然保持对权重空间的完全支持的分布。与其他可扩展的贝叶斯深度学习方法不同，如MC dropout或深度集合，Radial BNNs的全面支持使它们适用于顺序推理的先验。此外，它们解决了具有离散支持的权重分布的先验不合理性的概念性挑战。通过使用Radial BNNs作为相对于MFVI(稳定均场方差近似)的一种理论上合理、稳健的替代方案，我们在贝叶斯连续学习评估中取得了重大进展。

    Jul, 2019

  • k-tied正态分布：贝叶斯神经网络中高斯均值场后验的紧凑参数化

    通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。

    Feb, 2020

  • 层次半隐式变分推理及其在扩散模型加速中的应用

    本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

    Oct, 2023

  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024

  • 深度神经网络的后验和变分推断与重尾权重

    我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和ReLU激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和Besov空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

    Jun, 2024