May, 2023

模型和参数不确定性下的贝叶斯神经网络变分推断

HTML
PDF
TL;DR本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。
发现论文，激发创造
  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • 稀疏深度学习的高效变分推断及理论保证

    本文旨在通过完全贝叶斯处理下的尖峰-平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

    Nov, 2020

  • 贝叶斯神经网络的模型架构调整

    本文提出一种新颖的网络架构搜索(NAS)方法，用于优化Bayesian神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的NAS不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的BNN基线，使用的运行时仅为其一小部分，将推理运行时成本分别与MCDropout和deep ensemble相比在CIFAR10数据集上分别降低了2.98倍和2.92倍。

    Feb, 2022

  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024

  • 稀疏子空间变分推断训练贝叶斯神经网络

    稀疏子空间变分推理（SSVI）是一种全稀疏贝叶斯神经网络（BNN）框架，它通过从随机初始化的低维稀疏子空间开始，交替优化稀疏子空间基选择和相关参数，实现了在训练和推理阶段一致高稀疏性的BNN模型。

    Feb, 2024

  • 具备领域知识先验的贝叶斯神经网络

    通过变分推理，提出了一种将通用形式的领域知识（通过损失函数表示）整合到贝叶斯神经网络先验中的框架，使得后验推断和抽样具有高效性，以提升预测性能。

    Feb, 2024

  • 轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架

    本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的BNN参数的方差中，提高了预测性能。

    Feb, 2024

  • 任意非线性贝叶斯神经网络的小样本变分推断

    本研究通过仅使用3个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向Bayesian神经网络的输出节点注入物理先验信息。

    May, 2024

  • 贝叶斯神经网络中用于明确定义函数空间变分推断的正则化KL散度

    Bayesian神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义VI的方法结合正则化的KL散度，可以被认为是BNN中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备GP先验指定的特性，并与基于函数和权重空间先验的BNN基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

    Jun, 2024