深度神经网络的后验和变分推断与重尾权重

Jun, 2024

深度神经网络的后验和变分推断与重尾权重

Posterior and variational inference for deep neural networks with heavy-tailed weights

Ismaël Castillo, Paul Egels

TL;DR我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

Abstract

We consider deep neural networks in a bayesian framework with a prior distribution sampling the network weights at random. Following a recent idea of Agapiou and Castillo (2023), who show that heavy-tailed prior

deep neural networks bayesian framework prior distribution adaptation to smoothness minimax contraction rates

发现论文，激发创造

单元级别贝叶斯神经网络中先验的理解

研究了使用 Gaussian weight prior 和一类 ReLU 类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

Oct, 2018

自由还是深度：深度贝叶斯神经网络不需要复杂的权重后验逼近

通过理论证明和实验证明，我们挑战了长期以来人们对于贝叶斯神经网络变分推断中均场近似的局限性的假设，并表明在深度网络中并非如此。我们的结果表明，在复杂变分先验代价高且难以实现的情况下，使用均场变分推断在更深的模型中是一种实用且理论上可行的替代方法。

Feb, 2020

深度神经网络中权重矩阵的重尾正则化

通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。

Apr, 2023

深度权重先验

本文提出了深度权重先验（DWP）作为深度卷积神经网络的新型先验分布。DWP 利用生成模型来鼓励已训练卷积滤波器的特定结构，例如权重之间的空间相关性。作者提出了一种变分推断方法来处理这种隐式先验分布，并通过实验证明，当训练数据有限时，使用 DWP 可以改进贝叶斯神经网络的性能，使用 DWP 样本初始化权重也可以加速传统卷积神经网络的训练。

Oct, 2018

神经网络的概率元表示

本文介绍了一种基于贝叶斯方法的神经网络先验分布，该分布使用潜在变量来表示网络中的单元，并以这些变量的值为条件抽取单元之间的权重。这种先验分布具有强大的相关性，可以作为一个基于函数的先验分布，有助于实现 Bayesian 正则化以实现简单结构的网络模型。

Oct, 2018

具有权重通用先验的全连接贝叶斯神经网络的后验集中度

使用贝叶斯方法进行深度神经网络（BNNs）训练在广泛应用中受到了极大关注，并且已被有效地应用于各种情况。然而，大多数关于对 BNNs 的后验集中性质的研究仅在具有稀疏或重尾先验的 BNN 模型中证明结果。令人惊讶的是，目前还没有关于使用最常用的高斯先验进行 BNNs 的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络（DNNs）的近似结果。在本文中，我们提出了一个新的近似理论，用于具有有界参数的非稀疏 DNNs。此外，基于该近似理论，我们表明具有非稀疏一般先验的 BNNs 可以以接近最小最优后验集中速率接近真实模型。

Mar, 2024

神经网络中的权重不确定性

提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop，用于在神经网络的权重上学习概率分布，通过最小化压缩成本（即变分自由能或边缘似然的预期下界）来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中，学到的权重的不确定性可以用来提高泛化能力，并且可以用来驱动在强化学习中的探索和开发之间的平衡。

May, 2015

深度先验

本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性，结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。

Dec, 2017

使用经验贝叶斯为贝叶斯深度神经网络指定权重先验

提出了 MOdel Priors with Empirical Bayes using DNN（MOPED）方法，利用推理后验进行变分推断。实验证明，该方法可以实现可扩展的变分推断并提供可靠的不确定性量化。

Jun, 2019

信念网络中的神经变分推断和学习

我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

Jan, 2014