May, 2023

模型和参数不确定性下的贝叶斯神经网络变分推断

PDF
TL;DR本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。
bayesian neural networksapproximate bayesian inferencemodel uncertaintystructural learningvariational inference
发现论文，激发创造
  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 贝叶斯神经网络中可行的函数空间变分推理

    在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

    Dec, 2023

  • 轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架

    本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中，提高了预测性能。

    Feb, 2024

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 贝叶斯神经网络推断的不确定性量化质量

    本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较，发现常用的指标可能会导致误导，并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。

    Jun, 2019

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 贝叶斯递归神经网络

    使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练，大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中，贝叶斯循环神经网络优于传统循环神经网络。

    Apr, 2017

  • 稀疏贝叶斯网络：医学图像分析中高效的不确定性量化

    通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

    Jun, 2024

  • 神经网络的不确定性：近似贝叶斯集成

    该论文介绍了一种基于贝叶斯原理的神经网络反演方法，利用对先验分布采样的数据正则化参数，从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析，该方法相对于传统的平均集成技术具有更好的性能表现。

    Oct, 2018