AAAIJun, 2019

使用经验贝叶斯为贝叶斯深度神经网络指定权重先验

PDF
TL;DR提出了 MOdel Priors with Empirical Bayes using DNN（MOPED）方法，利用推理后验进行变分推断。 实验证明，该方法可以实现可扩展的变分推断并提供可靠的不确定性量化。
stochastic variational inferencebayesian neural networksempirical bayesweight priorsuncertainty quantification
发现论文，激发创造
  • 深度权重先验

    本文提出了深度权重先验（DWP）作为深度卷积神经网络的新型先验分布。DWP 利用生成模型来鼓励已训练卷积滤波器的特定结构，例如权重之间的空间相关性。作者提出了一种变分推断方法来处理这种隐式先验分布，并通过实验证明，当训练数据有限时，使用 DWP 可以改进贝叶斯神经网络的性能，使用 DWP 样本初始化权重也可以加速传统卷积神经网络的训练。

    Oct, 2018

  • 深度神经网络的后验和变分推断与重尾权重

    我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

    Jun, 2024

  • 贝叶斯深度学习中的先验知识综述

    该综述强调了先验选择对贝叶斯深度学习的重要性，并概述了各种先验方法及利用数据进行先验学习方法，以期激励实践者们更加谨慎地思考其模型的先验规范。

    May, 2021

  • 卷积神经网络的结构权重先验

    该论文探讨了在深度神经网络中为权重添加结构的好处，其中使用了随机 Gabor 过滤器设计第一层卷积神经网络的先验，以及估计每个隐藏特征与每个类之间关系的方式来为最终层权重添加先验。经验证明，这些结构化的权重先验可以为图像数据提供更有意义的功能先验。

    Jul, 2020

  • 贝叶斯深度学习只需要一个好的函数先验

    本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

    Nov, 2020

  • 深度先验

    本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性，结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。

    Dec, 2017

  • 自由还是深度：深度贝叶斯神经网络不需要复杂的权重后验逼近

    通过理论证明和实验证明，我们挑战了长期以来人们对于贝叶斯神经网络变分推断中均场近似的局限性的假设，并表明在深度网络中并非如此。我们的结果表明，在复杂变分先验代价高且难以实现的情况下，使用均场变分推断在更深的模型中是一种实用且理论上可行的替代方法。

    Feb, 2020

  • 单元级别贝叶斯神经网络中先验的理解

    研究了使用 Gaussian weight prior 和一类 ReLU 类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

    Oct, 2018

  • BNNpriors：具有不同先验分布的贝叶斯神经网络推断库

    本研究提出了 BNNpriors 库，可以应用于贝叶斯神经网络，并且具有各种先验分布，包括重尾、层次结构和混合先验，以及模块化方法，易于设计实施自定义先验。通过在贝叶斯神经网络中发现冷后效应的本质，这将有助于未来的研究和实际应用。

    May, 2021

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019