Jun, 2021

协变量偏移下贝叶斯模型平均的危险性

PDF
TL;DR通过使用全批处理的哈密尔顿蒙特卡罗来近似推断的贝叶斯神经网络，在协变量转移下实现了良好的性能，但我们发现，贝叶斯模型平均在这种情况下可能会出现问题，特别是在输入特征中存在线性相关性导致后验收缩不足的情况下，我们提出了新的先验概率分布，以提高 BNN 对多种协变量转移的稳健性。
发现论文，激发创造
  • 基于节点的贝叶斯神经网络解决协变量偏移问题

    本文介绍一种基于节点的贝叶斯神经网络模型，通过增加隐变量将每个隐藏层节点与潜在随机变量相乘，以此模拟不同类型的数据扰动。通过增加隐变量的熵，实现了在协变量转移下，输入数据发生变化时提高隐式置信度的效果，同时还具备了对嘈杂训练数据具有鲁棒性的能力。

    Jun, 2022

  • 无标签数据改善协变量偏移下的贝叶斯不确定性校准

    本研究提出了一种基于后验正则化的近似贝叶斯推断方案，可以用未标记的目标数据作为模型置信度的 “伪标签”，这些伪标签被用于调整标记源数据上的损失，显著提高了协变量移位数据集的不确定性量化准确性，适用于转移前瞻性前列腺癌模型在全球范围内的应用。

    Jun, 2020

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 贝叶斯神经网络代理在贝叶斯优化中的研究

    研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

    May, 2023

  • 朴素贝叶斯深度学习的崩溃推理

    提出一种新的 Bayesian 深度学习方案，使用 collapsed samples 进行贝叶斯模型平均，从而平衡神经网络的可扩展性和准确性，并利用现有的体积计算求解器解决选取部分权重采样，从而达到提高样本效率的目的，并在各种回归和分类任务中实现了显着的改进，推动了不确定性预测和预测性能的新水平。

    Jun, 2023

  • 贝叶斯神经网络的后验分布是什么样子的？

    研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

    Apr, 2021

  • 预训练贝叶斯神经网络对异常的鲁棒性

    ShiftMatch 是一种训练依赖的似然函数，可提高贝叶斯神经网络（BNN）对数据损坏的鲁棒性，并且在 CIFAR-10-C 上的性能表现出了强大的提升，能够超越 EmpCov 先验分布和纯深度集成方法。

    Jun, 2022

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 在最优因子范围内找到所有贝叶斯网络结构

    提出了一种基于近似算法的模型平均方法，该方法仅考虑可靠的模型且能在数据量较大的情况下高效地进行比较。

    Nov, 2018

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017