贝叶斯神经网络先验再审视

ICLRFeb, 2021

Bayesian Neural Network Priors Revisited

Vincent Fortuin, Adrià Garriga-Alonso, Sebastian W. Ober, Florian Wenzel, Gunnar Rätsch...

TL;DR本研究研究使用随机梯度下降算法训练的神经网络的权重统计数据，发现卷积神经网络和 ResNet 的权重显示出强烈的空间相关性，而全连接网络则显示出重尾的权重分布，根据这些观察得出更好的先验可以提高对各种图像分类数据集的性能。

Abstract

Isotropic Gaussian priors are the de facto standard for modern Bayesian neural network inference. However, it is unclear whether these priors accurately reflect our true beliefs about the weight distributions or give optimal performance. To find better priors, we study summary statistics of neural network weights in networks trained using →

bayesian neural network stochastic gradient descent convolutional neural network resnet image classification

发现论文，激发创造

BNNpriors：具有不同先验分布的贝叶斯神经网络推断库

本研究提出了 BNNpriors 库，可以应用于贝叶斯神经网络，并且具有各种先验分布，包括重尾、层次结构和混合先验，以及模块化方法，易于设计实施自定义先验。通过在贝叶斯神经网络中发现冷后效应的本质，这将有助于未来的研究和实际应用。

May, 2021

卷积神经网络的结构权重先验

该论文探讨了在深度神经网络中为权重添加结构的好处，其中使用了随机 Gabor 过滤器设计第一层卷积神经网络的先验，以及估计每个隐藏特征与每个类之间关系的方式来为最终层权重添加先验。经验证明，这些结构化的权重先验可以为图像数据提供更有意义的功能先验。

Jul, 2020

单元级别贝叶斯神经网络中先验的理解

研究了使用 Gaussian weight prior 和一类 ReLU 类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

Oct, 2018

具有权重通用先验的全连接贝叶斯神经网络的后验集中度

使用贝叶斯方法进行深度神经网络（BNNs）训练在广泛应用中受到了极大关注，并且已被有效地应用于各种情况。然而，大多数关于对 BNNs 的后验集中性质的研究仅在具有稀疏或重尾先验的 BNN 模型中证明结果。令人惊讶的是，目前还没有关于使用最常用的高斯先验进行 BNNs 的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络（DNNs）的近似结果。在本文中，我们提出了一个新的近似理论，用于具有有界参数的非稀疏 DNNs。此外，基于该近似理论，我们表明具有非稀疏一般先验的 BNNs 可以以接近最小最优后验集中速率接近真实模型。

Mar, 2024

深度图像先验的贝叶斯视角

本文介绍了自然图像的一种先验算法 —— 深度图像先验，它使用卷积神经网络对随机输入进行输出，通过使用梯度下降来调整网络参数以使输出匹配观测值。该方法在一系列图像重建任务中表现良好。同时通过推导得出结论，该算法渐近等于一个平稳的高斯过程，这启发了贝叶斯推断的方法。通过使用随机梯度 Langevin 对后验推断实现去除过早终止的需要，并在去噪和修补任务中提高了结果表现。我们在一些一维和二维信号重建任务中验证了这些算法的实用价值。

Apr, 2019

贝叶斯深度学习中的先验知识综述

该综述强调了先验选择对贝叶斯深度学习的重要性，并概述了各种先验方法及利用数据进行先验学习方法，以期激励实践者们更加谨慎地思考其模型的先验规范。

May, 2021

贝叶斯深度学习只需要一个好的函数先验

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

深度神经网络中冷后验的统计理论

本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述 “筛选” 过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。

Aug, 2020

深度神经网络的后验和变分推断与重尾权重

我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

Jun, 2024

有限贝叶斯神经网络的精确边缘先验分布

研究了有限宽度的贝叶斯神经网络的函数空间先验，包括深度线性网络和有限的 ReLU 网络，并以 Meijer-G 函数的形式给出了先验表达式，结果统一了以前对于有限网络先验的描述。

Apr, 2021