Feb, 2024

部分随机无穷深贝叶斯神经网络

PDF
TL;DR本文提出部分随机性无限深度贝叶斯神经网络 (Partially Stochastic Infinitely Deep Bayesian Neural Networks)，将部分随机性融入无限深度神经网络框架中，并通过改进现有的架构，提高了训练和推理的计算效率以及稳健性、不确定性量化和内存效率。作者在实验中通过多个任务的经验评估证明了该架构在下游任务性能和不确定性量化方面优于现有架构，并且更加高效。
发现论文，激发创造
  • 贝叶斯神经网络中的结构部分随机性

    提出了一种结构化的方法来选择确定性权重子集，以消除神经元置换对称性和相应的冗余后验模态，从而大大提高现有近似推理方案的性能。

    May, 2024

  • 随机微分方程的无限深贝叶斯神经网络

    本文介绍了在连续深度贝叶斯神经网络中进行可扩展的近似推断的方法，借助随机微分方程给出了隐藏单元，并使用基于梯度的随机变分推断和新的梯度估计器，这种方法使连续深度贝叶斯神经网络具有和离散深度替代方法同样的竞争力，并继承了神经 ODE 的内存高效训练和可调节精度。

    Feb, 2021

  • 贝叶斯神经网络是否需要完全随机化？

    本文研究采用贝叶斯神经网络随机化所有参数的好处，并发现在某种程度上，全随机结构可能是不必要的。我们证明表达能力强的预测分布只需要很少的随机性，部分随机网络只需具有 $n$ 个随机操作即可成为 $n$ 维预测问题的通用概率预测器。在经验调查中，我们发现在八个数据集中，部分随机网络比完全随机网络表现更好，且有时甚至可以匹敌或超越其性能，尽管它们的内存成本较低。

    Nov, 2022

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • 神经网络架构的贝叶斯学习

    本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。

    Jan, 2019

  • 一种贝叶斯方法实现不变深度神经网络

    本文提出了一种新颖的贝叶斯神经网络架构，可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时，我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。

    Jul, 2021

  • 无限深度神经网络的变分推断

    介绍了无限深度神经网络 (UDN)，这是一种无穷深的概率模型，可以根据训练数据自适应其复杂性。它包含一个无限序列的隐藏层，并对截止层数形成一个无界先验。通过开发一种新的变分推断算法来逼近其后验分布，优化神经网络权重和截止层数的分布，该算法探索了截止层数的空间。在真实和合成数据上验证了 UDN 的适应性，以及其与标准神经网络和其他无限深度神经网络方法的性能比较。

    Sep, 2022

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 深度生成模型中的随机反向传播和近似推理

    本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

    Jan, 2014

  • 无限宽深度神经网络的稳定行为

    研究了全连接前馈深度神经网络中对称中心稳定分布下权重和偏置的独立同分布，证明了相应加权后权重的无穷宽极限是一种随机过程，其有限维分布是多元稳定分布。这一极限过程被称为稳定过程，并且扩展了最近利用高斯无穷宽极限进行的研究线路。

    Mar, 2020