贝叶斯神经网络：简介和调查
神经网络在各个问题领域取得了显著的表现，但其普适性受到其内在限制的阻碍，如预测上的过度自信、解释能力的欠缺和对对抗攻击的易受攻击性等。为了解决这些挑战，贝叶斯神经网络（BNNs）已成为传统神经网络的引人注目的扩展，在预测能力中整合了不确定性估计。本文系统地介绍了神经网络和贝叶斯推理的基本概念，阐明了它们对 BNNs 的协同集成的发展。目标受众包括具有贝叶斯方法背景但缺乏深度学习专业知识的统计学家，以及具有有限贝叶斯统计知识但精通深度神经网络的机器学习专家。我们概述了常用的先验知识，分析了它们对模型行为和性能的影响。此外，我们还深入探讨了在 BNN 研究领域内的先进主题，承认了不断进行的辩论和争议。通过提供对前沿发展的深入洞察，本文不仅为研究人员和实践者提供了 BNNs 方面的坚实基础，还展示了该动态领域的潜在应用。作为宝贵的资源，它促进对 BNNs 及其前景的理解，推动知识和创新的进一步发展。
Sep, 2023
深度神经网络（DNN）是各种计算机视觉任务的强大工具，但它们经常在可靠的不确定性量化方面遇到困难 - 这是实际应用的关键要求。贝叶斯神经网络（BNN）能够进行不确定性估计，但无法扩展到高度不稳定的大型 DNNs，这些 DNNs 难以训练。为了解决这个挑战，我们引入了适应性贝叶斯神经网络（ABNN），这是一种简单且可扩展的策略，可以在后期以最小的计算和训练开销的方式将 DNNs 无缝转换为 BNNs。ABNN 通过简单的 BNN 适应层（附加到归一化层）和对预训练模型进行少量微调步骤，保留了 DNNs 的主要预测性能，并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明，ABNN 在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。
Dec, 2023
本文提出了一种全新的方法，即基于贝叶斯推断框架通过闭式计算对感知机进行训练和预测，其中感知机的权重和预测被视作高斯随机变量，为常用的激活函数，如 sigmoid 或 ReLU 提供了预测感知机输出和学习权重的解析表达式，该方法不需要计算昂贵的梯度计算，进一步允许顺序学习。
Sep, 2020
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。
Oct, 2021
本文介绍了贝叶斯神经网络中的概率层、架构和训练方法，并探讨了其扩展传统深度学习的方法，给出了 Tensorflow 的编程实现示例。然而，深层架构的不确定性考虑会让训练成本很高，而混合贝叶斯神经网络的策略可以很好地解决这个问题。
Jun, 2021
这项研究探索了贝叶斯神经网络的概念，并提出了一种新颖的架构来显著减少网络的存储空间复杂性。此外，我们介绍了一种能够高效处理不确定性的算法，确保强健的收敛值而不会陷入局部极小值的问题，特别是在目标函数缺乏完美凸性的情况下。
Mar, 2024
本研究提出了将不同类型的知识约束作为后验正则化项，结合增广 Lagrangian 方法和现有的 BNN 求解器进行有效推理，进而改进传统 BNN 模型的性能，并通过模拟实验以及航空着陆预测和太阳能输出预测等两个案例表明新模型的性能提高。
Oct, 2022
贝叶斯神经网络并不具备固有的对抗攻击鲁棒性，而近期的研究表明对抗性样本导致神经网络在各种视觉和语言任务上失效。该研究通过研究三个任务的对抗鲁棒性来验证贝叶斯神经网络的鲁棒性，结果表明即使使用相对不复杂的攻击方法，使用最先进的近似推断方法和哈密頓蒙特卡洛方法训练的贝叶斯神经网络仍然容易受到对抗攻击，并揭示了之前声称贝叶斯神经网络具备固有对抗鲁棒性的研究中存在的概念和实验错误。
Apr, 2024