Dec, 2019

面向贝叶斯神经网络的表达能力先验：泊松过程径向基函数网络

HTML
PDF
TL;DR本文引入了一种新的先验——泊松过程径向基函数网络，能够编码幅度稳定性和输入相关长度尺度， 而不像现有的先验那样难以纳入这些基本特性，同时证明了这种新的先验能够解耦这些特性的规范化，且随着观测次数趋于无限大，估计的回归函数是一致的，文章通过人造和真实示例展示了泊松过程径向基函数网络的行为。
发现论文，激发创造
  • 神经网络的概率元表示

    本文介绍了一种基于贝叶斯方法的神经网络先验分布，该分布使用潜在变量来表示网络中的单元，并以这些变量的值为条件抽取单元之间的权重。这种先验分布具有强大的相关性，可以作为一个基于函数的先验分布，有助于实现Bayesian正则化以实现简单结构的网络模型。

    Oct, 2018

  • 功能变分贝叶斯神经网络

    该研究提出了一种称为fBNN的函数变分贝叶斯神经网络，该网络使用随机过程来定义ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。

    Mar, 2019

  • 贝叶斯神经网络中的表达优先权：核组合和周期函数

    本文通过某些基础核的组合提供了一种创造表现力先验的高斯过程模型的简单灵活方法，并推导了镜像这些核组合的BNN架构，进一步说明了BNN可以产生周期核，这为设计包含函数先验知识的BNN提供了原则性的方法，文中的实验展示了这些理论的实际价值在监督学习和强化学习 setting 上。

    May, 2019

  • 岭波优先：贝叶斯神经网络的先验规范的协方差函数方法

    本文介绍了一种名为 ridgelet 先验的正态分布方法，用以在贝叶斯神经网络中为参数施加有意义的先验分布，解决了该网络输出空间中的不确定性量化问题，并证明了 Bayesian 神经网络可以近似于某些正态分布，同时提供了有限样本大小错误界，证明了其普适性和适用性。

    Oct, 2020

  • 函数空间中变分推断的理解

    本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用Kullback-Leibler divergence方法的优劣，提出了基于Bayesian linear regression的benchmark方法来评估预测质量和后验近似质量。

    Nov, 2020

  • 贝叶斯深度学习只需要一个好的函数先验

    本文为解决Bayesian深度学习中的先验分布选择困难性问题，提出了一种基于Gaussian processes的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo方法进行可扩展的先验分布采样，从而显著提高了性能。

    Nov, 2020

  • 有限贝叶斯神经网络的精确边缘先验分布

    研究了有限宽度的贝叶斯神经网络的函数空间先验，包括深度线性网络和有限的ReLU网络，并以Meijer-G函数的形式给出了先验表达式，结果统一了以前对于有限网络先验的描述。

    Apr, 2021

  • 神经网络中学习表达先验的方法用于泛化和不确定性估计

    本文提出了一种基于先验学习的新方法，用于提高深度神经网络的泛化和不确定性估计，该方法利用可伸缩和结构化的神经网络后验作为具有泛化保证的信息先验。我们的学习先验在大规模上提供了具有表现力的概率表征，可以看作是在ImageNet上预训练模型的贝叶斯对应物，并进一步产生非平凡的泛化界限。我们还将这个想法扩展到了一个连续学习的框架中，其中我们的先验的有利特性是可取的。我们的技术贡献是（1）Kronecker积分和求和计算，以及（2）导出和优化可追踪的目标，从而导致改进的泛化边界。从实证上来说，我们详尽地展示了这种方法用于不确定性估计和泛化的有效性。

    Jul, 2023

  • 贝叶斯神经网络中可行的函数空间变分推理

    在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

    Dec, 2023

  • 贝叶斯神经网络中用于明确定义函数空间变分推断的正则化KL散度

    Bayesian神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义VI的方法结合正则化的KL散度，可以被认为是BNN中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备GP先验指定的特性，并与基于函数和权重空间先验的BNN基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

    Jun, 2024