具备领域知识先验的贝叶斯神经网络
本文介绍了针对贝叶斯神经网络的节点选取问题,使用马蹄铁Prior激活Bayesian神经网络的方法,提高了模型紧凑度,不影响性能表现,特别适用于小样本情况下的强化学习。
Jun, 2018
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具:一种新的确定性方法用于逼近神经网络的矩,消除了梯度方差;一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来,所得到的方法高效而稳健,在异方差回归应用中表现出了很好的预测性能。
Oct, 2018
该研究提出了一种称为fBNN的函数变分贝叶斯神经网络,该网络使用随机过程来定义ELBO,可以指定包含丰富结构的先验分布,提供可靠的不确定性估计并适用于大型数据集。
Mar, 2019
本文提出了一种将先验知识通过外部摘要信息纳入贝叶斯神经网络中的简单方法,通过引入Dirichlet过程并推导相应的总结证据下限,将可用的摘要信息作为增广数据建模。使用本方法可以增强模型对分类任务难度和类别分布的了解,并在准确性、不确定性校准和对数据损坏的鲁棒性等方面表现良好。
Jul, 2022
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
本研究提出一种对轻量级贝叶斯神经网络(BNN)进行抽样无关变分推断的简单框架,通过将异方差预测不确定性和经验差异嵌入到学习得到的BNN参数的方差中,提高了预测性能。
Feb, 2024
使用贝叶斯方法进行深度神经网络(BNNs)训练在广泛应用中受到了极大关注,并且已被有效地应用于各种情况。然而,大多数关于对BNNs的后验集中性质的研究仅在具有稀疏或重尾先验的BNN模型中证明结果。令人惊讶的是,目前还没有关于使用最常用的高斯先验进行BNNs的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络(DNNs)的近似结果。在本文中,我们提出了一个新的近似理论,用于具有有界参数的非稀疏DNNs。此外,基于该近似理论,我们表明具有非稀疏一般先验的BNNs可以以接近最小最优后验集中速率接近真实模型。
Mar, 2024
本研究通过仅使用3个确定性样本来传播统计矩,实现了对任意非线性网络层的统计矩传播,从而使得少样本变分推断成为可能,并将此方法应用于一种新的非线性激活函数,用于向Bayesian神经网络的输出节点注入物理先验信息。
May, 2024
Bayesian神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择,而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题,我们使用了一种基于广义VI的方法结合正则化的KL散度,可以被认为是BNN中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明,我们的方法在合成数据和小型现实世界数据集上具备GP先验指定的特性,并与基于函数和权重空间先验的BNN基线相比,在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。
Jun, 2024