岭波优先：贝叶斯神经网络的先验规范的协方差函数方法

Oct, 2020

岭波优先：贝叶斯神经网络的先验规范的协方差函数方法

The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks

Takuo Matsubara, Chris J. Oates, François-Xavier Briol

TL;DR本文介绍了一种名为 ridgelet 先验的正态分布方法，用以在贝叶斯神经网络中为参数施加有意义的先验分布，解决了该网络输出空间中的不确定性量化问题，并证明了 Bayesian 神经网络可以近似于某些正态分布，同时提供了有限样本大小错误界，证明了其普适性和适用性。

Abstract

bayesian neural networks attempt to combine the strong predictive performance of neural networks with formal quantification of uncertainty associated with the predictive output in the Bayesian framework. However, it remains unclear how to endow the parameters of the network with a prio

bayesian neural networks uncertainty quantification ridgelet prior gaussian process universal approximation

发现论文，激发创造

贝叶斯深度学习只需要一个好的函数先验

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

使用 Ridge 参数的 g-prior 分布变量选择研究

本文介绍了在贝叶斯随机搜索变量选择框架下，如何通过引入岭参数的灵活简单适配 g-prior 的方法，选择变量及超参数，并与贝叶斯 Lasso 进行了比较。

Feb, 2011

面向贝叶斯神经网络的表达能力先验：泊松过程径向基函数网络

本文引入了一种新的先验 —— 泊松过程径向基函数网络，能够编码幅度稳定性和输入相关长度尺度，而不像现有的先验那样难以纳入这些基本特性，同时证明了这种新的先验能够解耦这些特性的规范化，且随着观测次数趋于无限大，估计的回归函数是一致的，文章通过人造和真实示例展示了泊松过程径向基函数网络的行为。

Dec, 2019

预测复杂度先验

本文提出了一种基于预测复杂度的贝叶斯先验方法，以应对神经网络等复杂模型中参数推理的挑战；在高维回归、神经网络深度和少样本学习等领域得到应用。

Jun, 2020

贝叶斯回归和分类高斯过程模型的蒙特卡罗实现

本文提出了使用高斯过程模型来进行非参数回归，分类等任务，通过使用马尔科夫链方法对高斯过程的协方差函数的超参数进行采样，可以发现数据的高级特性并实现预测响应所需输入的相关性。

Jan, 1997

非线性贝叶斯反问题中的认证降维

我们提出了一种用于贝叶斯反问题的降维技术，包括非线性正演算子、非高斯先验和非高斯观测噪声，我们通过一个垄线函数来近似似然函数，并最小化 KL 散度的上界来建立此垄线近似。这个上界可以通过对梯度的二阶矩矩阵的计算来获得并进行上界估计，数值和理论比较证明了方法的优点。

Jul, 2018

非参数二元回归的高斯过程先验的后验一致性

本文研究了一个由高斯过程引发的二进制观测数据的后验分布的一致性，当协方差核有所需的导数和核的带宽参数允许取任意小的值时，后验分布在 L1 距离中是一致的。

Feb, 2007

贝叶斯神经网络中可行的函数空间变分推理

在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

Dec, 2023

有限贝叶斯神经网络的精确边缘先验分布

研究了有限宽度的贝叶斯神经网络的函数空间先验，包括深度线性网络和有限的 ReLU 网络，并以 Meijer-G 函数的形式给出了先验表达式，结果统一了以前对于有限网络先验的描述。

Apr, 2021

深度神经网络作为高斯过程

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017