贝叶斯神经网络是否需要完全随机化？

Nov, 2022

贝叶斯神经网络是否需要完全随机化？

Do Bayesian Neural Networks Need To Be Fully Stochastic?

Mrinank Sharma, Sebastian Farquhar, Eric Nalisnick, Tom Rainforth

TL;DR本文研究采用贝叶斯神经网络随机化所有参数的好处，并发现在某种程度上，全随机结构可能是不必要的。我们证明表达能力强的预测分布只需要很少的随机性，部分随机网络只需具有 $n$ 个随机操作即可成为 $n$ 维预测问题的通用概率预测器。在经验调查中，我们发现在八个数据集中，部分随机网络比完全随机网络表现更好，且有时甚至可以匹敌或超越其性能，尽管它们的内存成本较低。

Abstract

We investigate the benefit of treating all the parameters in a Bayesian neural network stochastically and find compelling theoretical and empirical evidence that this standard construction may be unnecessary. To this end, we prove that expressive predictive distributions require only small amounts of stochasticity. In particular, →

bayesian neural network fully stochastic networks partially stochastic networks predictive problems memory costs

发现论文，激发创造

贝叶斯神经网络中的结构部分随机性

提出了一种结构化的方法来选择确定性权重子集，以消除神经元置换对称性和相应的冗余后验模态，从而大大提高现有近似推理方案的性能。

May, 2024

部分随机无穷深贝叶斯神经网络

本文提出部分随机性无限深度贝叶斯神经网络 (Partially Stochastic Infinitely Deep Bayesian Neural Networks)，将部分随机性融入无限深度神经网络框架中，并通过改进现有的架构，提高了训练和推理的计算效率以及稳健性、不确定性量化和内存效率。作者在实验中通过多个任务的经验评估证明了该架构在下游任务性能和不确定性量化方面优于现有架构，并且更加高效。

Feb, 2024

学习二元随机前向神经网络的技术

研究了使用 M 个隐藏层激活的样本进行训练时的随机网络，探讨了三种潜在好处，即允许学习一对多类型的映射，可用于内部结构重要的结构预测问题以及在一般情况下启用更好的概括性能。同时提出了两种新的梯度估计器来训练随机网络，实验证明这两种估计器在训练算法中表现优异。

Jun, 2014

关于 Feynman-Kac 训练的部分贝叶斯神经网络

我们提出了一种有效的基于采样的训练策略，将 pBNN 的训练过程表述为模拟一个 Feynman-Kac 模型，并使用序贯蒙特卡洛采样器的变体来同时估计参数和这个模型的潜在后验分布，在各种合成和真实数据集上展示了我们提出的训练方案在预测性能方面优于最先进的方法。

Oct, 2023

神经网络架构的贝叶斯学习

本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。

Jan, 2019

通过贝叶斯学习深度神经网络结构来度量不确定性

这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

Nov, 2019

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

限制性贝叶斯神经网络

这项研究探索了贝叶斯神经网络的概念，并提出了一种新颖的架构来显著减少网络的存储空间复杂性。此外，我们介绍了一种能够高效处理不确定性的算法，确保强健的收敛值而不会陷入局部极小值的问题，特别是在目标函数缺乏完美凸性的情况下。

Mar, 2024

关于贝叶斯神经网络中近似推断表现的探讨

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

鲁棒贝叶斯神经网络的确定性变分推断

本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

Oct, 2018