Jun, 2024

贝叶斯神经网络中用于明确定义函数空间变分推断的正则化 KL 散度

PDF
TL;DRBayesian 神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义 VI 的方法结合正则化的 KL 散度，可以被认为是 BNN 中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备 GP 先验指定的特性，并与基于函数和权重空间先验的 BNN 基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。
bayesian neural networksvariational inferencefunction-space vigaussian process priorsuncertainty modeling
发现论文，激发创造
  • 函数空间中变分推断的理解

    本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

    Nov, 2020

  • 功能变分贝叶斯神经网络

    该研究提出了一种称为 fBNN 的函数变分贝叶斯神经网络，该网络使用随机过程来定义 ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。

    Mar, 2019

  • 深度贝叶斯分类的函数空间正则化

    文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法，通过该方法，可以将相同的函数空间先验合并到不同的模型中，提高可扩展性，改进不确定性量化和敌对抗性。

    Jul, 2023

  • 贝叶斯神经网络中可行的函数空间变分推理

    在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

    Dec, 2023

  • 在 Bures-Wasserstein 空间中通过 JKO 实现前向后向的高斯变分推断

    本文提出了正向反向高斯变分推断算法，利用 KL 散度的结构，能够有效逼近高斯目标分布，得到了最新颖的收敛保证。

    Apr, 2023

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 宽广场（Wide）均场变分贝叶斯神经网络忽视数据

    该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中 KL 散度过度正则化的洞见。

    Jun, 2021

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 通过顺序函数空间变分推断进行连续学习

    连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

    Dec, 2023

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018