深度卷积网络作为浅层高斯过程

Aug, 2018

Deep Convolutional Networks as shallow Gaussian Processes

Adrià Garriga-Alonso, Carl Edward Rasmussen, Laurence Aitchison

TL;DR通过适当的神经网络权重和偏差的先验，证明（残差）卷积神经网络的输出在无限数量的卷积滤波器的极限下是高斯过程（GP），扩展了密集网络的类似结果。可以精确地计算 CNN 的等效核，不同于 “深度核” 只有少量的参数：只有原始 CNN 的超参数。与每层只有一个滤波器的原始 CNN 相比，对成对图像评估内核的成本类似于一次正向传递，这个内核等效于 32 层 ResNet，在 MNIST 上获得了 0.84％的分类错误，是具有可比数量的参数的 GPs 的新记录。

Abstract

We show that the output of a (residual) convolutional neural network (CNN) with an appropriate prior over the weights and biases is a gaussian process (GP) in the limit of infinitely many convolutional filters, e

convolutional neural network gaussian process kernel resnet classification

发现论文，激发创造

深度神经网络作为高斯过程

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

具有多个通道的贝叶斯深度卷积网络是高斯过程

本文研究神经网络与高斯过程之间的等价性，并在卷积神经网络上实现了类似的等价性，提出了估计给定神经网络结构下对应高斯过程的蒙特卡罗方法，证实了在无池化层情况下，具有和不具有权重共享的卷积神经网络对应的高斯过程是相同的，表明了经过精心调整的随机梯度下降训练的卷积神经网络性能可以明显优于相应的高斯过程。

Oct, 2018

深度卷积高斯过程

本论文提出了基于卷积结构的深度高斯过程模型，是一种基于贝叶斯原则的图像分类方法，能够有效的利用局部特征，改善了传统的高斯过程方法在 MNIST 和 CIFAR-10 数据集上的分类准确性，尤其是 CIFAR-10 数据集上准确率提高了超过 10 个百分点。

Oct, 2018

近似推断将深度网络转化为高斯过程

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

卷积核深高斯过程

本论文针对深度高斯过程在计算机视觉领域应用时存在的挑战（例如卷积结构），提出了一种基于卷积核的卷积 DGP 模型（CDGP）来解决该问题，并在多类图像分类任务中表现出优越性能。

Jun, 2018

具有深度卷积高斯过程的贝叶斯图像分类

本研究提出了一种翻译不敏感的卷积核，并将高斯过程重新制定为多输出高斯过程，以实现深度卷积高斯过程。实验证明，与使用 dropout 的贝叶斯深度学习方法相比，我们的全贝叶斯方法在不确定性和边际似然估计方面的性能有所提高。

Feb, 2019

等变高斯过程与卷积神经网络的相互关系

研究了卷积神经网络和高斯过程之间的关系及其等变性特征，包括神经网络的信号传播特性、学习曲线理论推导方法以及在机器学习中的应用，旨在探究多通道极限下的神经网络与二维欧几里得群与向量值神经元激活函数相关的等变性高斯过程。

Sep, 2022

宽深神经网络中的高斯过程行为

本研究研究了深度神经网络和高斯过程之间的联系，指出在广泛的条件下，随着体系结构越来越宽，隐含的随机函数在分布上会趋于高斯过程，并使用最大平均偏差评估收敛速率。最后，将贝叶斯深度网络与高斯过程进行比较，并从文献中回顾了非高斯替代模型。

Apr, 2018

概率数字卷积神经网络

我们提出了一种基于概率数值方法的卷积神经网络，使用高斯过程表示特征，并采用偏微分方程定义卷积层，实现了旋转等变卷积，实验结果显示我们的方法可将误差降低 3 倍，并在医学时间序列数据集 PhysioNet2012 上展现了出色的性能。

Oct, 2020

卷积高斯过程

介绍了在 Gaussian 过程中引入卷积结构的方法，并构建了适用于卷积核的跨域诱导点逼近，利用较快但准确的后验推理获得卷积核的泛化利益，应用于多项研究中，其中通过边缘似然可进一步提高性能。

Sep, 2017