ICMLFeb, 2020

即使轻微地贝叶斯化，也能修复 ReLU 网络中的过度自信

PDF
TL;DR本文提出了一种基于贝叶斯推断的神经网络未来预测方法，该方法通过对 ReLU 网络权重进行近似高斯分布的理论分析和实验验证，同时发现了使用简单的贝叶斯近似方法可以解决 ReLU 网络的过度自信问题。
relu classification networksbayesian inferencepredictive uncertaintygaussian distributionlast-layer bayesian approximation
发现论文，激发创造
  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 改进 ReLU 网络中的预测不确定性的仿射不变集合变换方法

    利用合适的集合卡尔曼滤波器的扩展来执行逻辑回归的贝叶斯推断，提出了两个相互作用的粒子系统，对这些相互作用的粒子系统收敛速率进行了定量证明，将这些技术应用于基于 ReLU 网络的贝叶斯近似方法以评估预测不确定性的效果。

    Sep, 2023

  • 贝叶斯神经网络中基于损失校准的近似推断

    本文提出了一种基于 Bayesian 决策理论的新的、具有损失校准的证据下界来近似贝叶斯神经网络的真实后验分布，该下界依赖于一种效用函数，以确保我们的逼近方法对于具有非对称效用函数的应用程序具有更高的效用。此外，该方法具有与标准 dropout 神经网络相同的目标，但具有额外的依赖于效用函数的惩罚项。

    May, 2018

  • 为什么 ReLU 网络在训练数据远离时会产生高置信度的预测，以及如何减轻这个问题

    通过提出类似于对抗训练的新型鲁棒性优化技术，使得神经网络分类器可以在训练数据附近做出高置信度的预测，同时在远离训练数据的区域内降低置信度。

    Dec, 2018

  • 使用校准回归的深度学习准确不确定性

    本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

    Jul, 2018

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 使用随机浅层 ReLU 网络进行逼近，及其在模型参考自适应控制中的应用

    用 ReLU 网络和随机生成的权重和偏置，在高概率下达到高于所需精度的近似，填补了关于神经网络控制中的近似性质的证明缺失。

    Mar, 2024

  • 学习 ReLU 网络以高均匀精度是不可解的

    本文中，我们在非线性神经网络学习问题上，通过精确量化每个训练算法所需的最小训练样本数量，以保证目标类中包含或由预定义结构的 ReLU 神经网络的高精度，从而证明了在非常一般的假设下，训练样本的最小数量随着网络结构的深度和输入维度呈指数级增长。

    May, 2022

  • 构建神经网络：确保神经网络知道它们不知道的领域

    本文提出了一种新的方法以应对激活函数为 ReLU 的神经网络在数据训练远离时会过度自信并有可能失去安全性的问题，该方法可以提供数学上的低置信预测同时提供第一个在一个分布外点附近的低置信预测的证书。实验表明，该方法能够在保留 OOS 性能的同时，保证其性能。

    Sep, 2019

  • 混合拉普拉斯逼近以改善深度学习后验不确定性

    本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

    Nov, 2021