Feb, 2024

轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架

PDF
TL;DR本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中，提高了预测性能。
heteroscedastic predictive uncertaintiesbayesian neural networkaleatoric uncertaintiesepistemic variancevariational inference
发现论文，激发创造
  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 任意非线性贝叶斯神经网络的小样本变分推断

    本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

    May, 2024

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • Favour：一种用于确定不确定性评级的快速方差算子

    本研究提出了一种基于 “尖峰协方差矩阵” 的更加原理性的方差传播框架，可在质量和推理时间之间平滑插值，使得贝叶斯神经网络能够在之前无法触及的性能关键任务领域中使用。

    Nov, 2023

  • 可靠的方差网络训练和估计

    本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。

    Jun, 2019

  • 采样免的近似方差传播用于认知不确定性估计

    提供了一种比使用蒙特卡洛采样估计神经网络的认识不确定性的方法更加高效的近似方法，该方法适用于大规模视觉任务。

    Aug, 2019

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 具有潜变量的贝叶斯神经网络中的不确定性分解

    本文研究贝叶斯神经网络和潜在变量的概率模型，使用信息论方法和风险敏感目标分别将预测不确定性分解为认知和概率性成分，以解决主动学习和安全强化学习等领域中的模型偏差问题。

    Jun, 2017