Feb, 2020

自由还是深度：深度贝叶斯神经网络不需要复杂的权重后验逼近

PDF
TL;DR通过理论证明和实验证明，我们挑战了长期以来人们对于贝叶斯神经网络变分推断中均场近似的局限性的假设，并表明在深度网络中并非如此。我们的结果表明，在复杂变分先验代价高且难以实现的情况下，使用均场变分推断在更深的模型中是一种实用且理论上可行的替代方法。
variational inferencebayesian neural networksmean-field approximationdeep networkshamiltonian monte carlo
发现论文，激发创造
  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 宽广场（Wide）均场变分贝叶斯神经网络忽视数据

    该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中 KL 散度过度正则化的洞见。

    Jun, 2021

  • 深度神经网络的后验和变分推断与重尾权重

    我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

    Jun, 2024

  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024

  • k-tied 正态分布：贝叶斯神经网络中高斯均值场后验的紧凑参数化

    通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。

    Feb, 2020

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 贝叶斯神经网络和深高斯过程的全局诱导点变分后验

    本研究涉及 Bayesian 神经网络和深度高斯过程的研究，并提出了一种用于权重的近似后验方法，使用了全局诱导点以及深度高斯过程。此方法取得了现有最优性能，无需数据增强或加温，达到了 86.7％的 CIFAR-10 的结果，可与 Wenzel 等人的 SGMCMC 相媲美。

    May, 2020

  • 一种贝叶斯方法实现不变深度神经网络

    本文提出了一种新颖的贝叶斯神经网络架构，可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时，我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。

    Jul, 2021

  • 基于对称性的贝叶斯神经网络后验探索

    该论文研究了现代深度神经网络的权重分布，探讨了深度贝叶斯神经网络后验分布的优化途径、后验质量和不确定性量化的关系、后验中模态的影响和可视化方法，以及权重空间对后验的对称性，并发布了大规模检查点数据集和代码，以帮助改进对贝叶斯后验的理解。

    Oct, 2023

  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

    Jan, 2014