贝叶斯神经网络:基础知识
这项研究探索了贝叶斯神经网络的概念,并提出了一种新颖的架构来显著减少网络的存储空间复杂性。此外,我们介绍了一种能够高效处理不确定性的算法,确保强健的收敛值而不会陷入局部极小值的问题,特别是在目标函数缺乏完美凸性的情况下。
Mar, 2024
神经网络在各个问题领域取得了显著的表现,但其普适性受到其内在限制的阻碍,如预测上的过度自信、解释能力的欠缺和对对抗攻击的易受攻击性等。为了解决这些挑战,贝叶斯神经网络(BNNs)已成为传统神经网络的引人注目的扩展,在预测能力中整合了不确定性估计。本文系统地介绍了神经网络和贝叶斯推理的基本概念,阐明了它们对 BNNs 的协同集成的发展。目标受众包括具有贝叶斯方法背景但缺乏深度学习专业知识的统计学家,以及具有有限贝叶斯统计知识但精通深度神经网络的机器学习专家。我们概述了常用的先验知识,分析了它们对模型行为和性能的影响。此外,我们还深入探讨了在 BNN 研究领域内的先进主题,承认了不断进行的辩论和争议。通过提供对前沿发展的深入洞察,本文不仅为研究人员和实践者提供了 BNNs 方面的坚实基础,还展示了该动态领域的潜在应用。作为宝贵的资源,它促进对 BNNs 及其前景的理解,推动知识和创新的进一步发展。
Sep, 2023
该论文介绍了 Bayes by Hypernet,一种新的变分逼近方法,通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信,并且不能产生有意义的不确定性度量的短板,本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性,同时满足复杂度、可扩展性和准确度的要求。
Nov, 2017
这篇研究论文探究了一种新型的贝叶斯深度学习,通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计,并提出了一种有效的随机变分推断方法,以统一网络结构和权重的学习。
Nov, 2019
本文提出了一种全新的方法,即基于贝叶斯推断框架通过闭式计算对感知机进行训练和预测,其中感知机的权重和预测被视作高斯随机变量,为常用的激活函数,如 sigmoid 或 ReLU 提供了预测感知机输出和学习权重的解析表达式,该方法不需要计算昂贵的梯度计算,进一步允许顺序学习。
Sep, 2020
Bayesian Layers 是一种用于神经网络不确定性快速实验的模块,能够通过确定性和随机函数的统一抽象进行组合,从而实现可伸缩性,并且能够捕获权重、激活和功能本身等方面的不确定性,同时支持反向传递不确定性,同时提供了代码示例,可用于 Edward2 概率编程语言中的概率程序。
Dec, 2018
贝叶斯方法在深度神经网络中应用广泛,因为它通过边缘化取代优化,能够提高模型的校准性和准确性,并利用神经网络结构中的先验偏好来帮助泛化。此外,最近的贝叶斯深度学习实践进展也提高了模型的准确性、校准性和可伸缩性。
Jan, 2020