深度贝叶斯分类的函数空间正则化

Jul, 2023

深度贝叶斯分类的函数空间正则化

Function-Space Regularization for Deep Bayesian Classification

Jihao Andreas Lin, Joe Watson, Pascal Klink, Jan Peters

TL;DR文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法，通过该方法，可以将相同的函数空间先验合并到不同的模型中，提高可扩展性，改进不确定性量化和敌对抗性。

Abstract

bayesian deep learning approaches assume model parameters to be latent random variables and infer posterior distributions to quantify uncertainty, increase safety and trust, and prevent overconfident and unpredictable behavior. However, weight-space priors are model-specific, can be di

bayesian deep learning uncertainty quantification dirichlet prior function-space variational inference adversarial robustness

发现论文，激发创造

函数空间中变分推断的理解

本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

Nov, 2020

贝叶斯神经网络中用于明确定义函数空间变分推断的正则化 KL 散度

Bayesian 神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义 VI 的方法结合正则化的 KL 散度，可以被认为是 BNN 中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备 GP 先验指定的特性，并与基于函数和权重空间先验的 BNN 基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

Jun, 2024

神经网络中的函数空间正规化：概率视角

神经网络优化中的参数空间正则化是提高泛化能力的基本工具，但是标准的参数空间正则化方法使得将对期望预测函数的显式偏好编码到神经网络训练中变得具有挑战性。本文从概率的角度来看待神经网络的正则化，并展示了通过将参数空间正则化视为对模型参数的经验先验分布的规定，我们可以推导出一种概率上合理的正则化技术，使得将有关对期望预测函数的信息明确编码到神经网络训练中成为可能。这种方法被称为函数空间经验贝叶斯（FSEB），包括参数空间和函数空间的正则化，数学上简单、易于实现，并且与标准正则化技术相比，仅产生很小的计算开销。我们通过实证评估这种正则化技术的效用并证明了所提出的方法在语义转移检测、高度校准的预测不确定性估计、从预训练模型进行任务适应和在协变量转移下改进泛化能力等方面具有接近完美的性能。

Dec, 2023

贝叶斯深度学习只需要一个好的函数先验

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

贝叶斯神经网络中可行的函数空间变分推理

在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

Dec, 2023

具有贝叶斯深度神经网络的分类快速预测不确定性

本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

Mar, 2020

深度先验

本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性，结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。

Dec, 2017

预测复杂度先验

本文提出了一种基于预测复杂度的贝叶斯先验方法，以应对神经网络等复杂模型中参数推理的挑战；在高维回归、神经网络深度和少样本学习等领域得到应用。

Jun, 2020

有限贝叶斯神经网络的精确边缘先验分布

研究了有限宽度的贝叶斯神经网络的函数空间先验，包括深度线性网络和有限的 ReLU 网络，并以 Meijer-G 函数的形式给出了先验表达式，结果统一了以前对于有限网络先验的描述。

Apr, 2021

深度权重先验

本文提出了深度权重先验（DWP）作为深度卷积神经网络的新型先验分布。DWP 利用生成模型来鼓励已训练卷积滤波器的特定结构，例如权重之间的空间相关性。作者提出了一种变分推断方法来处理这种隐式先验分布，并通过实验证明，当训练数据有限时，使用 DWP 可以改进贝叶斯神经网络的性能，使用 DWP 样本初始化权重也可以加速传统卷积神经网络的训练。

Oct, 2018