具有深度卷积高斯过程的贝叶斯图像分类
本论文针对深度高斯过程在计算机视觉领域应用时存在的挑战(例如卷积结构),提出了一种基于卷积核的卷积 DGP 模型(CDGP)来解决该问题,并在多类图像分类任务中表现出优越性能。
Jun, 2018
介绍了在 Gaussian 过程中引入卷积结构的方法,并构建了适用于卷积核的跨域诱导点逼近,利用较快但准确的后验推理获得卷积核的泛化利益,应用于多项研究中,其中通过边缘似然可进一步提高性能。
Sep, 2017
本论文提出了基于卷积结构的深度高斯过程模型,是一种基于贝叶斯原则的图像分类方法,能够有效的利用局部特征,改善了传统的高斯过程方法在 MNIST 和 CIFAR-10 数据集上的分类准确性,尤其是 CIFAR-10 数据集上准确率提高了超过 10 个百分点。
Oct, 2018
本文研究神经网络与高斯过程之间的等价性,并在卷积神经网络上实现了类似的等价性,提出了估计给定神经网络结构下对应高斯过程的蒙特卡罗方法,证实了在无池化层情况下,具有和不具有权重共享的卷积神经网络对应的高斯过程是相同的,表明了经过精心调整的随机梯度下降训练的卷积神经网络性能可以明显优于相应的高斯过程。
Oct, 2018
本文研究神经网络和高斯过程之间的关系,证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时,利用高斯过程的边缘似然函数来调整神经网络的超参数,得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。
Jun, 2019
通过适当的神经网络权重和偏差的先验,证明(残差)卷积神经网络的输出在无限数量的卷积滤波器的极限下是高斯过程(GP),扩展了密集网络的类似结果。可以精确地计算 CNN 的等效核,不同于 “深度核” 只有少量的参数:只有原始 CNN 的超参数。与每层只有一个滤波器的原始 CNN 相比,对成对图像评估内核的成本类似于一次正向传递,这个内核等效于 32 层 ResNet,在 MNIST 上获得了 0.84%的分类错误,是具有可比数量的参数的 GPs 的新记录。
Aug, 2018
提出了一种新的贝叶斯非参数方法,以在非欧几里德域上学习平移不变的关系。 该方法可应用于机器学习问题,其中输入观测值是具有普通图形域的函数。 并将图卷积高斯过程应用于图像和三角形网格等领域,表明了其多功能性和有效性,与现有方法相比具有优势,尽管是相对简单的模型。
May, 2019
本文研究无限宽深层神经网络和高斯过程的等价性,提出一种计算高斯过程协方差函数的有效方法,并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断,在网络宽度增加时,训练神经网络的准确率和 GP 预测的不确定性分别增加,而有限宽度训练网络越接近 GP,测试性能越好,GP 预测通常优于有限宽度网络的预测,最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。
Nov, 2017
本文介绍了一种基于双随机变分推断的方法,用于深度高斯过程模型(Deep Gaussian processes)的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务,验证了其推断模型的实用性。
May, 2017