ICMLJun, 2022

基于节点的贝叶斯神经网络解决协变量偏移问题

PDF
TL;DR本文介绍一种基于节点的贝叶斯神经网络模型，通过增加隐变量将每个隐藏层节点与潜在随机变量相乘，以此模拟不同类型的数据扰动。通过增加隐变量的熵，实现了在协变量转移下，输入数据发生变化时提高隐式置信度的效果，同时还具备了对嘈杂训练数据具有鲁棒性的能力。
bayesian neural networkscovariate shiftepistemic uncertaintynode-based bnnsinput perturbations
发现论文，激发创造
  • 无标签数据改善协变量偏移下的贝叶斯不确定性校准

    本研究提出了一种基于后验正则化的近似贝叶斯推断方案，可以用未标记的目标数据作为模型置信度的 “伪标签”，这些伪标签被用于调整标记源数据上的损失，显著提高了协变量移位数据集的不确定性量化准确性，适用于转移前瞻性前列腺癌模型在全球范围内的应用。

    Jun, 2020

  • 协变量偏移下贝叶斯模型平均的危险性

    通过使用全批处理的哈密尔顿蒙特卡罗来近似推断的贝叶斯神经网络，在协变量转移下实现了良好的性能，但我们发现，贝叶斯模型平均在这种情况下可能会出现问题，特别是在输入特征中存在线性相关性导致后验收缩不足的情况下，我们提出了新的先验概率分布，以提高 BNN 对多种协变量转移的稳健性。

    Jun, 2021

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 缓解非可辨识性对具有潜在变量的贝叶斯神经网络推断的影响

    该研究提出了一种利用贝叶斯神经网络和潜变量来准确捕捉模型不确定性的方法，并解决了该模型普遍存在的非识别性问题，并通过开发一种新的推断程序来提高预测准确性和不确定性估计。

    Nov, 2019

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 利用狄利克雷过程似然方法将功能摘要信息纳入贝叶斯神经网络中

    本文提出了一种将先验知识通过外部摘要信息纳入贝叶斯神经网络中的简单方法，通过引入 Dirichlet 过程并推导相应的总结证据下限，将可用的摘要信息作为增广数据建模。使用本方法可以增强模型对分类任务难度和类别分布的了解，并在准确性、不确定性校准和对数据损坏的鲁棒性等方面表现良好。

    Jul, 2022

  • 具有潜变量的贝叶斯神经网络中的不确定性分解

    本文研究贝叶斯神经网络和潜在变量的概率模型，使用信息论方法和风险敏感目标分别将预测不确定性分解为认知和概率性成分，以解决主动学习和安全强化学习等领域中的模型偏差问题。

    Jun, 2017

  • 轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架

    本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中，提高了预测性能。

    Feb, 2024

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019