Jan, 2020

带瓶颈的宽神经网络是深高斯过程

PDF
TL;DR本文探讨了存在 “瓶颈” 的 BNNs 的宽限制，其中一些隐藏层被保持在有限宽度，结果是一种高斯过程的组合，我们称之为 “瓶颈神经网络高斯过程”（bottleneck NNGP），并分析了单个瓶颈 NNGP 的理论，发现瓶颈在极端深度通过产生输出之间的相关性，并防止网络的内核在极端深度失去区分能力。
neural networksbayesian neural networksgaussian processbottlenecksmulti-output network
发现论文，激发创造
  • 深度神经网络作为高斯过程

    本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

    Nov, 2017

  • 宽深神经网络中的高斯过程行为

    本研究研究了深度神经网络和高斯过程之间的联系，指出在广泛的条件下，随着体系结构越来越宽，隐含的随机函数在分布上会趋于高斯过程，并使用最大平均偏差评估收敛速率。最后，将贝叶斯深度网络与高斯过程进行比较，并从文献中回顾了非高斯替代模型。

    Apr, 2018

  • 宽神经网络作为高斯过程：深度平衡模型的教训

    当 DEQ 层的宽度趋近于无穷大时，它收敛到一个高斯过程，建立了所谓的神经网络和高斯过程 (NNGP) 的对应关系，这种收敛甚至在深度和宽度的极限互换的情况下也成立，这些发现为研究 DEQ 的训练和泛化提供了基础，为未来的研究奠定了基础。

    Oct, 2023

  • 具有多个通道的贝叶斯深度卷积网络是高斯过程

    本文研究神经网络与高斯过程之间的等价性，并在卷积神经网络上实现了类似的等价性，提出了估计给定神经网络结构下对应高斯过程的蒙特卡罗方法，证实了在无池化层情况下，具有和不具有权重共享的卷积神经网络对应的高斯过程是相同的，表明了经过精心调整的随机梯度下降训练的卷积神经网络性能可以明显优于相应的高斯过程。

    Oct, 2018

  • 共享权重的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切向核导出

    本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

    Feb, 2019

  • 在无限宽度极限下探究神经网络隐式先验的不确定性特性

    本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

    Oct, 2020

  • 无限宽深度神经网络的稳定行为

    研究了全连接前馈深度神经网络中对称中心稳定分布下权重和偏置的独立同分布，证明了相应加权后权重的无穷宽极限是一种随机过程，其有限维分布是多元稳定分布。这一极限过程被称为稳定过程，并且扩展了最近利用高斯无穷宽极限进行的研究线路。

    Mar, 2020

  • 神经网络高斯过程的比例混合

    本文提出了一种基于高斯随机变量尺度混合的 NNGPs 模型，并利用先验分布在最后一层参数上引入尺度先验，使得任何架构的无穷宽神经网络都能转化为一种更丰富的随机过程，通过实验进一步证明了该模型在回归和分类任务方面的可行性和鲁棒性。

    Jul, 2021

  • 任意深度的宽神经网络在梯度下降下演化为线性模型

    本文研究神经网络的学习和泛化性能，发现对于宽神经网络，学习动态变得简单，并且在无限宽度的极限下，它们由网络初始参数的一阶泰勒展开得到的线性模型控制。同时，通过在广义上拟合高斯过程的理论，揭示了神经网络可能表现出高斯过程的特性。

    Feb, 2019

  • 神经切向核下的贝叶斯深度集成

    我们通过神经切向核（NTK）探索深度集合和高斯过程（GPs）之间的联系，引入对标准深度集合训练的简单修改，其中包括对每个群集成员的可计算、随机且不可训练的函数的添加，以在无限宽度下启用后验解释，用于回归和分类任务中，证明了我们的贝叶斯深度集成在无限宽度限制下进行更保守的预测，可在不同的寻常数据的情况下胜过标准的深度集成。

    Jul, 2020