利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

May, 2023

利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

Sparsifying Bayesian neural networks with latent binary variables and normalizing flows

Lars Skaaret-Lund, Geir Storvik, Aliaksandr Hubin

TL;DR本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

Abstract

artificial neural networks (ANNs) are powerful machine learning methods used in many modern applications such as facial recognition, machine translation, and cancer diagnostics. A common issue with ANNs is that they usually have millions or billions of trainable parameters, and therefo

artificial neural networks bayesian neural networks latent binary bayesian neural networks local reparametrization trick normalizing flows

发现论文，激发创造

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

任意非线性贝叶斯神经网络的小样本变分推断

本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

May, 2024

神经网络中的隐含权重不确定性

该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

Nov, 2017

稀疏贝叶斯网络：医学图像分析中高效的不确定性量化

通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

Jun, 2024

鲁棒贝叶斯神经网络的确定性变分推断

本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

Oct, 2018

使用变分贝叶斯神经网络约束 N 体模拟的宇宙学参数

本文介绍了基于深度学习的近似贝叶斯神经网络和多项式归一化流方法，应用于天体物理参数恢复，发现与标准贝叶斯神经网络和翻转估计器相比，该方法能够更好地提高预测性能和准确估计不确定性，缓解变分参数的误差引入，并得到更接近真实后验分布的预测分布，从而为使用网络提供更合理的预测分布。该方法提高了维度的灵活性，有助于恢复大量的天体物理参数。

Jan, 2023

具有潜变量的贝叶斯神经网络中的不确定性分解

本文研究贝叶斯神经网络和潜在变量的概率模型，使用信息论方法和风险敏感目标分别将预测不确定性分解为认知和概率性成分，以解决主动学习和安全强化学习等领域中的模型偏差问题。

Jun, 2017

缓解非可辨识性对具有潜在变量的贝叶斯神经网络推断的影响

该研究提出了一种利用贝叶斯神经网络和潜变量来准确捕捉模型不确定性的方法，并解决了该模型普遍存在的非识别性问题，并通过开发一种新的推断程序来提高预测准确性和不确定性估计。

Nov, 2019

Kalman 贝叶斯神经网络用于封闭形式的在线学习

本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。

Oct, 2021

贝叶斯递归神经网络

使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练，大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中，贝叶斯循环神经网络优于传统循环神经网络。

Apr, 2017