Nov, 2020

函数空间中变分推断的理解

PDF
TL;DR本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。
bayesian modelspredictive posterior distributionkullback-leibler divergencebayesian linear regressioninference methods
发现论文，激发创造
  • 贝叶斯神经网络中用于明确定义函数空间变分推断的正则化 KL 散度

    Bayesian 神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义 VI 的方法结合正则化的 KL 散度，可以被认为是 BNN 中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备 GP 先验指定的特性，并与基于函数和权重空间先验的 BNN 基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

    Jun, 2024

  • 深度贝叶斯分类的函数空间正则化

    文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法，通过该方法，可以将相同的函数空间先验合并到不同的模型中，提高可扩展性，改进不确定性量化和敌对抗性。

    Jul, 2023

  • 内核空间中的函数分布

    本文提出了一种基于函数内核的学习方法（FKL），通过将高斯过程置于谱密度上，直接推断出内核的功能后验分布，从而能够支持任何平稳内核，具有对内核值的不确定性，以及直接对内核的先验规范，而不需要复杂的初始化或人为干预。我们通过椭圆切片采样进行推断，这对于较强相关性先验的函数空间建模尤其适用。我们将我们的方法应用于非均匀、大规模、多任务和多维数据，并在插值、外推和内核恢复实验中展现了良好的性能。

    Oct, 2019

  • 贝叶斯神经网络中可行的函数空间变分推理

    在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

    Dec, 2023

  • 通过顺序函数空间变分推断进行连续学习

    连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

    Dec, 2023

  • 基于模拟的推断与广义 Kullback-Leibler 散度

    在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。

    Oct, 2023

  • k-tied 正态分布：贝叶斯神经网络中高斯均值场后验的紧凑参数化

    通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。

    Feb, 2020

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 使用带有一般散度函数的近端梯度方法加速随机变分推断

    提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

    Oct, 2015

  • 非参数变分推断

    本文提出了一种基于非参数核密度估计的变分逼近方法，通过优化内核位置和带宽参数最大化数据边际似然下限，不同于其他变分逼近方法，本方法能够捕捉后验分布的多个模式，并成功应用于各种图模型和非线性矩阵分解模型中，预测性能优于更专业化的变分方法和基于样本的逼近方法。

    Jun, 2012