通过实验证明了核方法优于限制宽度的全连接神经网络,并且证实 NNGP 内核经常优于 NT 内核,但它们的性能都受到正则化的影响。此外,作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法,并在 CIFAR-10 分类任务中取得了最优结果。
Jul, 2020
神经网络的无限宽度极限通常被认为是具有高斯过程分布的,称为神经网络高斯过程,然而固定的 NNGP 核函数无法进行表示学习,为了了解图分类和节点分类任务中表示学习的必要性,我们开发了一个精确的工具,即图卷积深核机器,发现表示学习对于图分类和异质节点分类任务是必要的,但对于同质节点分类任务则不是。
Feb, 2024
本文研究无限宽深层神经网络和高斯过程的等价性,提出一种计算高斯过程协方差函数的有效方法,并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断,在网络宽度增加时,训练神经网络的准确率和 GP 预测的不确定性分别增加,而有限宽度训练网络越接近 GP,测试性能越好,GP 预测通常优于有限宽度网络的预测,最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。
Nov, 2017
本文介绍了一种基于无限宽的贝叶斯表达学习界限的深层高斯过程方法以及基于这个界限的核方法的深度泛化技术。实验证实这种方法能够处理有限宽的高斯方法以及 NNs,这将有助于在大规模数据上应用这种方法。
Aug, 2021
通过对深度无限神经网络进行研究和分析,本文证明了深度无限层网络自然地与高斯过程和核方法相一致,并设计了编码这些网络信息的随机核函数。同时,本文还在不同规模下证明了稳定性结果,从而解释了这些网络在实践应用中具有的经验性成功。
Aug, 2015
本文探讨了存在 “瓶颈” 的 BNNs 的宽限制,其中一些隐藏层被保持在有限宽度,结果是一种高斯过程的组合,我们称之为 “瓶颈神经网络高斯过程”(bottleneck NNGP),并分析了单个瓶颈 NNGP 的理论,发现瓶颈在极端深度通过产生输出之间的相关性,并防止网络的内核在极端深度失去区分能力。
Jan, 2020
基于无限宽度神经网络的高斯过程,并结合内核和推理方法,构建了一个场论的形式体系,研究了无限宽度网络的泛化性质,并从输入数据的统计性质得到了泛化性质的提取。
Jul, 2023
本文研究了具有大规模参数的人工神经网络,并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。
Apr, 2023
本文研究神经网络与高斯过程之间的等价性,并在卷积神经网络上实现了类似的等价性,提出了估计给定神经网络结构下对应高斯过程的蒙特卡罗方法,证实了在无池化层情况下,具有和不具有权重共享的卷积神经网络对应的高斯过程是相同的,表明了经过精心调整的随机梯度下降训练的卷积神经网络性能可以明显优于相应的高斯过程。
Oct, 2018
增加节点宽度对于图神经网络及其各种体系结构(如带有跳连接的图神经网络和图注意网络)的研究,并推导了相关的核和高斯过程闭合形式,应用于节点回归和分类任务,并使用谱稀疏化方法改善运行时间和内存需求。此外,研究还简要探讨了对于归纳图学习任务(如图回归 / 分类)的扩展。
Oct, 2023